Ücretsiz araç
AI bot erişim testi
Bir adres girin; robots.txt dosyanızın hangi yapay zekâ botlarına kapı açtığını, hangilerini engellediğini ve bunun ne anlama geldiğini görün.
Bu test sitenizin robots.txt dosyasını okur ve 14 botun sayfanıza girip giremeyeceğini gösterir. Botları görevlerine göre ayırır: arama ve cevap, kullanıcı isteği, model eğitimi. Arama botlarını engellemek motorun cevaplarında kaynak gösterilmenizi zorlaştırır; eğitim botlarını engellemek ise bir iş kararıdır.
Eğitimi kapatıp aramayı açık tutan robots.txt eki
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: meta-externalagent Disallow: / User-agent: CCBot Disallow: /
Bir bota özel grup yazdığınızda o bot, User-agent: * grubundaki kuralları artık okumaz (RFC 9309). Gizli tutmak istediğiniz yollar varsa bu gruplara da ekleyin.
Botlar neden üç gruba ayrılıyor?
| Grup | Örnekler | Engellenirse |
|---|---|---|
| Arama ve cevap | OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, Bingbot, Meta-WebIndexer | Site o motorun cevaplarında kaynak gösterilemeyebilir; örneğin OAI-SearchBot’u engelleyen siteler ChatGPT’nin arama cevaplarında gösterilmezKaynak 1: Overview of OpenAI crawlers. |
| Kullanıcı isteği | ChatGPT-User, Claude-User, Perplexity-User | Bir kısmı robots.txt’ye uymayabilir: OpenAI ChatGPT-User için kuralların uygulanmayabileceğiniKaynak 1: Overview of OpenAI crawlers, Perplexity de Perplexity-User’ın genellikle uymadığını yazıyorKaynak 3: Perplexity crawlers. Claude-User uyarKaynak 2: Does Anthropic crawl data from the web, and how can site owners block the crawler?. |
| Model eğitimi | GPTBot, ClaudeBot, Google-Extended, Meta-ExternalAgent, CCBot | İçeriğin gelecekteki model eğitiminde kullanılmaması istenmiş olurKaynak 1: Overview of OpenAI crawlersKaynak 2: Does Anthropic crawl data from the web, and how can site owners block the crawler?. Google-Extended, Google Arama’ya dahil olmayı ve sıralamayı etkilemezKaynak 4: Google’s common crawlers (Googlebot, Google-Extended). |
robots.txt’ye kural eklerken nelere dikkat etmeli?
robots.txt standardı RFC 9309’a göre, bir bot kendi adıyla eşleşen bir grup bulursa o grubu uygular; eşleşen grup yoksa User-agent: * grubuna uyarKaynak 6: RFC 9309: Robots Exclusion Protocol (Eylül 2022). Yani bir bota özel grup yazdığınızda o bot * grubundaki kuralları artık okumaz. Gizli tutmak istediğiniz yollar varsa bota özel gruplara da eklenmelidir.
Test yalnızca robots.txt’yi okur. Güvenlik duvarı ya da bot koruması bir botu engelliyorsa bunu göremeyiz; sunucu kayıtlarınızdan kontrol etmeniz gerekir.
Sıkça sorulan sorular
01Eğitim botlarını engellemeli miyim?
Bu bir iş kararı. Eğitim botlarını engellemek arama görünürlüğünü doğrudan etkilemez; arama ve eğitim botları ayrı tanımlandığı için ikisi için ayrı karar verilebilirKaynak 1: Overview of OpenAI crawlersKaynak 2: Does Anthropic crawl data from the web, and how can site owners block the crawler?.
02Meta’nın hangi botu Meta AI için önemli?
Meta AI’ın arama sonuçlarıyla ilgili bot Meta-WebIndexer; Meta-ExternalAgent ise model eğitimi ve ürün geliştirme içindirKaynak 5: Meta Web Crawlers.
03Grok ve DeepSeek neden listede yok?
İki şirket de site sahiplerinin robots.txt ile hedefleyebileceği resmî bir tarayıcı adı yayımlamıyor. Doğrulanamayan adları teste eklemiyoruz; ayrıntı motor sayfalarında.
Kaynaklar
- [1]Overview of OpenAI crawlersOpenAI · erişim: 26 Eylül 2026
- [2]Does Anthropic crawl data from the web, and how can site owners block the crawler?Anthropic · erişim: 26 Eylül 2026
- [3]Perplexity crawlersPerplexity · erişim: 26 Eylül 2026
- [4]Google’s common crawlers (Googlebot, Google-Extended)Google Search Central · erişim: 26 Eylül 2026
- [5]Meta Web CrawlersMeta for Developers · erişim: 26 Eylül 2026
- [6]RFC 9309: Robots Exclusion Protocol (Eylül 2022)IETF / RFC Editor · erişim: 26 Eylül 2026
Bu sayfayı nasıl kaynak gösterirsiniz
Kaynaq. (26 Eylül 2026). AI bot erişim testi. https://kaynaq.pages.dev/araclar/ai-bot-erisim-testi
Güncellemeler ve düzeltmeler
Bu sayfada henüz düzeltme yok. Bir hata görürseniz bize yazın; düzeltmeyi tarihiyle burada yayımlarız.