Bir site AI crawler'larını engelliyor mu? Nasıl kontrol edilir

Herhangi bir adres yapıştırın ve sitenin GPTBot, ClaudeBot, PerplexityBot ve diğer AI crawler'larını engelleyip engellemediğini görün: robots.txt'de, güvenlik duvarında ya da her ikisinde.

Ücretsiz · Kayıt yok · 30 saniyede sonuç

Hangi crawler'lar engelli

Eğitim, arama ve kullanıcı crawler'ları ayrı gösterilir, çünkü GPTBot'u engellemek OAI-SearchBot'u engellemez, ClaudeBot'u engellemek de Claude-SearchBot'u engellemez.

Belirleyici satır

Her crawler için robots.txt, RFC 9309 kurallarına göre okunur: crawler'ın adını geçen grup ya da yedek olarak User-agent: * ve geçerli olan kural.

Güvenlik duvarı retleri

Sayfa 14 crawler olarak ve normal bir tarayıcı olarak istenir. Engeller ve doğrulama sayfaları işaretlenir, yanıt veren güvenlik duvarının adı belirtilir.

Her bulgu için bir çözüm

Her bulgu, yapılacak değişiklikle birlikte gelir. Ücretsiz kontrol puanınızı ve ilk bulguyu gösterir; tam rapor tek seferlik $29'dır.

Kısa cevap

Bir site AI crawler'larını iki yerde engelleyebilir: crawler'lardan uzak durmalarını isteyen robots.txt'de ve onları gerçekten reddeden sunucuda ya da güvenlik duvarında. robots.txt'de her crawler'ın token'ını arayın, bulamazsanız User-agent: * grubuna bakın; ardından sayfayı crawler olarak çekin ve bir tarayıcının aldığıyla karşılaştırın. Bir tarayıcı uzantısı robots.txt kısmını 16 AI crawler'ı için tek tıkla yapar.

3 adımda elle kontrol edin

  1. Crawler'ı seçin

    Her AI şirketi ayrı crawler'lar çalıştırır. Eğitim: GPTBot, ClaudeBot. Arama: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Bir kişinin isteğiyle: ChatGPT-User, Claude-User, Perplexity-User.

  2. robots.txt'yi onun için okuyun

    https://example.com/robots.txt adresini açın ve crawler'ın adını geçen grubu bulun. Hiçbir grup yoksa User-agent: * grubu geçerlidir; ikisi de yoksa her şeye izin verilir.

  3. Sayfayı crawler olarak çekin

    Sayfayı crawler'ın user agent'ıyla isteyin, durum kodunu ve boyutu bir tarayıcınınkiyle karşılaştırın. 403, doğrulama sayfası ya da çok daha küçük bir 200, güvenlik duvarının crawler'ı reddettiği anlamına gelir.

Sık sorulan sorular

robots.txt dosyası olmayan bir site AI crawler'larına açık mıdır?

Evet, robots.txt açısından. robots.txt için 404 hiç kural olmadığı anlamına gelir, yani her crawler her sayfayı çekebilir. Yine de bir güvenlik duvarı crawler'ları engelleyebilir.

Uzantı güvenlik duvarı engellerini gösterir mi?

Hayır. Uzantı robots.txt dosyasını tarayıcınızdan okur; bu da sitenin crawler'lardan ne istediğini gösterir. Güvenlik duvarı ve bot koruması engellerini görmek için crawler olarak gönderilmiş bir istek gerekir; bunu aiseewhy.com'daki tam kontrol yapar.

Bana ait olmayan bir siteyi kontrol edebilir miyim?

Evet. robots.txt herkese açıktır ve uzantı yalnızca sitenin yayımladığı robots.txt ve llms.txt dosyalarını okur; bunlar her crawler'ın okuduğu dosyaların aynısıdır.

Tam rehberi okuyun

İster bir değişiklikten sonra kendi sitenizi kontrol ediyor olun, ister başka birinin sitesine güvenmeden önce ona bakıyor olun, “Bu site AI crawler'larını engelliyor mu?” sorusunun kesin bir yanıtı vardır. Yanıt hangi crawler'ı kastettiğinize bağlıdır, çünkü AI şirketleri eğitim, arama ve canlı ziyaretler için ayrı crawler'lar çalıştırır ve bir site her birine farklı davranabilir. Bu rehber, en hızlısından en eksiksizine üç kontrol gösteriyor.

Bir site AI crawler'larını nerede engelleyebilir?

Üç katman vardır ve bir crawler'ın bir sayfayı kullanabilmesi için hepsinden geçmesi gerekir.

  • robots.txt: kurallara uyan crawler'ların bir şey çekmeden önce okuduğu, herkese açık bir kurallar dosyası. Bir kilit değil, bir ricadır.
  • Sunucu, CDN ya da güvenlik duvarı: gerçekte neyin geri gönderileceğine bunlar karar verir. Bir bot koruma kuralı, robots.txt izin verse bile bir crawler'a 403, 429 ya da doğrulama sayfasıyla yanıt verebilir.
  • Sayfanın kendisi: ana metin yalnızca JavaScript çalıştıktan sonra görünüyorsa, ilk HTML'i okuyan bir crawler neredeyse boş bir sayfa alır, oysa onu hiçbir şey engellememiştir.

Hızlı kontrollerin çoğu yalnızca ilk katmana bakar. Diğer ikisini unutmadığınız sürece bu iyi bir başlangıçtır.

Tek bir AI crawler'ı için robots.txt nasıl okunur?

Bir tarayıcıda https://example.com/robots.txt adresini açın ve crawler'a uygulanan grubu bulun. Bir grup bir ya da daha fazla User-agent satırıyla başlar. Crawler, GPTBot gibi kendi token'ını adıyla anan grubu kullanır; eşleştirmede büyük/küçük harf ayrımı yapılmaz. Onu anan bir grup yoksa User-agent: * grubunu kullanır. İkisi de yoksa her şeye izin verilir.

Grubun içinde en uzun eşleşen yola sahip kural kazanır; bir Allow ile bir Disallow eşit uzunluktaysa Allow kazanır. Dolayısıyla aşağıdaki dosya GPTBot'u sitenin tamamından engeller ama diğer tüm crawler'ları içeri alır:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Dosyanın nasıl yanıt verdiğine de bakın. RFC 9309'a göre 404 hiç kural olmadığı, yani her şeye izin verildiği anlamına gelir. Bir sunucu hatası (5xx) ya da hiç yanıt gelmemesi, crawler'ın sitenin tamamını yasaklanmış sayması gerektiği anlamına gelir. HTML sayfası döndüren bir robots.txt adresi yaygın bir hatadır: crawler'lar içinde geçerli bir kural bulamaz.

Tüm AI crawler'ları aynı anda nasıl kontrol edilir?

Birden fazla crawler'ı önemsediğinizde dosyayı elle okumak yavaşlar. Her AI şirketi, farklı görevleri olan birkaç crawler çalıştırır:

  • Eğitim crawler'ları model eğitimi için içerik toplar: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, ayrıca yalnızca robots.txt'de görünen Google-Extended ve Applebot-Extended token'ları.
  • Arama crawler'ları, AI yanıtlarının onlara atıf yapabilmesi için sayfaları dizine ekler: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Kullanıcı crawler'ları, bir kişi asistandan istediğinde sayfayı çeker: ChatGPT-User, Claude-User, Perplexity-User.

Chrome için ücretsiz Yapay Zekâ Bot Denetimi uzantısı bunu tek tıkla yapar. Herhangi bir sayfayı açıp simgeye tıklayın; uzantı o sitenin robots.txt dosyasını okur ve 16 crawler'ın her biri için sayfaya izin verilip verilmediğini ve bunu hangi satırın belirlediğini gösterir. Ayrıca Content-Signal tercihlerini, sitede bir llms.txt dosyası olup olmadığını ve robots.txt'de listelenen site haritalarını da gösterir. Tarayıcınızda çalışır, hesap gerektirmez ve yalnızca üzerinde tıkladığınız siteyi okur.

Chrome kullanmıyorsanız, aiseewhy.com'daki ücretsiz robots.txt denetleyicisi yapıştırdığınız bir URL için aynı yanıtı verir.

Güvenlik duvarının onları geçirip geçirmediği nasıl kontrol edilir?

robots.txt sitenin ne istediğini gösterir. Bir crawler'ın gerçekte ne aldığını görmek için sayfayı iki kez isteyin, bir kez tarayıcı olarak, bir kez de crawler'ın user agent'ıyla; ardından durum kodunu ve yanıtın boyutunu karşılaştırın:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Tarayıcı 200 alırken crawler 403, 429 ya da 503 veya çok daha küçük bir sayfa alıyorsa, bir güvenlik duvarı ya da bot koruması crawler'a farklı davranıyordur. Dışarıdan yapılan her testin bir sınırı vardır: istek AI şirketinin ağından değil, sizin ağınızdan gelir. Crawler'lara yayımlanmış IP adreslerine göre güvenen bir güvenlik duvarı gerçek crawler'a farklı davranabilir, bu yüzden son sözü sunucu günlükleriniz söyler.

aiseewhy.com'daki tam kontrol, sayfayı gerçek bir tarayıcının yanında 16 crawler'ın hepsi olarak çeker, bir crawler'ı engelleyen güvenlik duvarını ya da kuralı adıyla belirtir ve her birinin aldığı metni karşılaştırır.

Hangi sonucu hedeflemeliyim?

Ne istediğinize bağlı. ChatGPT aramasında, Claude'da ve Perplexity'de alıntılanmak istiyorsanız, arama ve kullanıcı crawler'larına robots.txt'de izin verilmeli ve bu crawler'lar sunucudan gerçek sayfayı almalıdır. İçeriğinizin eğitimde kullanılmasını istemiyorsanız yalnızca eğitim token'larını engelleyin. Bunlar ayrı tercihlerdir: GPTBot'u engellemek OAI-SearchBot'u engellemez, ClaudeBot'u engellemek de Claude-SearchBot'u engellemez.

Pek çok site bunları karıştırır. En popüler 1.000 alan adını incelediğimiz Kasım 2026 raporumuzda, bir eğitim crawler'ını engelleyen sitelerin %63'ü en az bir AI arama ya da kullanıcı crawler'ını da engelliyor; bu da sayfalarını o AI yanıtlarının dışında bırakıyor.

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Kaynaklar

Diğer makaleler

Yayınlanma