Yapay zekâ tarayıcıları ve teknik erişim: robots.txt, JavaScript ve llms.txt

1. Hangi botlar var ve ne yapıyorlar?

Yapay zekâ şirketleri arama ve cevap, model eğitimi ve kullanıcı istekleri için ayrı botlar kullanıyor. Örnekler, şirketlerin kendi belgelerinden:

Motor bazında ayrıntı yapay zekâ motorları sayfalarında.

2. robots.txt’yi doğru yazın

• Arama ve cevap botlarını engellemeyin; engellenen motorun cevaplarında kaynak gösterilmek zorlaşır. OpenAI, OAI-SearchBot’u engelleyen sitelerin ChatGPT arama cevaplarında gösterilmediğini yazıyor^{[1]Kaynak 1: Overview of OpenAI crawlersOverview of OpenAI crawlersOpenAIerişim: 26 Eylül 2026}.
• Eğitim botları için ayrı karar verin. Arama ve eğitim botları ayrı tanımlandığı için eğitimi kapatıp aramayı açık tutmak mümkün^{[1]Kaynak 1: Overview of OpenAI crawlersOverview of OpenAI crawlersOpenAIerişim: 26 Eylül 2026[2]Kaynak 2: Does Anthropic crawl data from the web, and how can site owners block the crawler?Does Anthropic crawl data from the web, and how can site owners block the crawler?Anthropicerişim: 26 Eylül 2026}.
• Bir bota özel grup yazdığınızda o bot User-agent: * grubunu artık okumaz; RFC 9309’a göre eşleşen grup yoksa * grubu uygulanır^{[6]Kaynak 6: RFC 9309: Robots Exclusion Protocol (Eylül 2022)RFC 9309: Robots Exclusion Protocol (Eylül 2022)IETF / RFC Editorerişim: 26 Eylül 2026}. Gizli yolları bota özel gruplara da ekleyin.
• Kullanıcı isteği botlarının bir kısmı robots.txt’ye uymayabilir: OpenAI ChatGPT-User için kuralların uygulanmayabileceğini^{[1]Kaynak 1: Overview of OpenAI crawlersOverview of OpenAI crawlersOpenAIerişim: 26 Eylül 2026}, Perplexity de Perplexity-User’ın genellikle uymadığını yazıyor^{[3]Kaynak 3: Perplexity crawlersPerplexity crawlersPerplexityerişim: 26 Eylül 2026}.

Sitenizin hangi botlara açık olduğunu AI bot erişim testiyle görebilirsiniz.

3. Güvenlik duvarını kontrol edin

robots.txt izin verse bile güvenlik duvarı ya da bot koruması tanımadığı istekleri engelleyebilir. OpenAI ve Perplexity botlarının IP aralıklarını JSON dosyaları olarak yayımlıyor^{[1]Kaynak 1: Overview of OpenAI crawlersOverview of OpenAI crawlersOpenAIerişim: 26 Eylül 2026[3]Kaynak 3: Perplexity crawlersPerplexity crawlersPerplexityerişim: 26 Eylül 2026}; izin listesi bu dosyalarla kurulabilir. Sunucu kayıtlarında bu botların 403 ya da 429 alıp almadığına bakın.

4. İçeriği JavaScript’e bağlamayın

Vercel’in 2024 ölçümüne göre büyük yapay zekâ tarayıcıları JavaScript çalıştırmıyor^{[7]Kaynak 7: The rise of the AI crawler (Dec 2024)The rise of the AI crawler (Dec 2024)Vercelerişim: 26 Eylül 2026}. Google da her botun JavaScript çalıştıramadığını belirterek sunucu tarafında ya da önceden üretilmiş HTML’i öneriyor^{[8]Kaynak 8: Understand JavaScript SEO basicsUnderstand JavaScript SEO basicsGoogle Search Centralerişim: 26 Eylül 2026}. Kontrol yolu basit: tarayıcıda JavaScript’i kapatıp sayfayı açın; ana metin, fiyatlar ve iletişim bilgileri görünmüyorsa botlar da görmüyor.

5. llms.txt: ekleyin ama beklentiyi doğru kurun

llms.txt, sitenin kök dizinine konan ve yapay zekâ araçlarına sitenin özetini ve önemli sayfalarını Markdown ile veren bir öneridir^{[10]Kaynak 10: The /llms.txt fileThe /llms.txt filellmstxt.orgerişim: 26 Eylül 2026}. Google, yapay zekâ özelliklerinde görünmek için llms.txt ya da özel bir işaretleme gerekmediğini söylüyor^{[9]Kaynak 9: Optimizing your website for generative AI features on Google SearchOptimizing your website for generative AI features on Google SearchGoogle Search Centralerişim: 26 Eylül 2026}. Maliyeti düşük olduğu için eklenebilir; ama sıralama aracı değildir. Hazırlamak için llms.txt oluşturucuyu kullanabilirsiniz.

Kontrol listesi

• Arama ve cevap botları robots.txt’de izinli.
• Eğitim botları için bilinçli bir karar verilmiş.
• Bota özel gruplarda gizli yollar tekrar yazılmış.
• Güvenlik duvarı bu botları engellemiyor; IP listeleri tanımlı.
• JavaScript kapalıyken ana metin okunuyor.
• Sayfalar noindex ya da gereksiz nosnippet taşımıyor.
• llms.txt (isteğe bağlı) biçime uygun.