Bir site AI crawler'larını engelliyor mu? Nasıl kontrol edilir
Herhangi bir adres yapıştırın ve sitenin GPTBot, ClaudeBot, PerplexityBot ve diğer AI crawler'larını engelleyip engellemediğini görün: robots.txt'de, güvenlik duvarında ya da her ikisinde.
Ücretsiz · Kayıt yok · 30 saniyede sonuç
Hangi crawler'lar engelli
Eğitim, arama ve kullanıcı crawler'ları ayrı gösterilir, çünkü GPTBot'u engellemek OAI-SearchBot'u engellemez, ClaudeBot'u engellemek de Claude-SearchBot'u engellemez.
Belirleyici satır
Her crawler için robots.txt, RFC 9309 kurallarına göre okunur: crawler'ın adını geçen grup ya da yedek olarak User-agent: * ve geçerli olan kural.
Güvenlik duvarı retleri
Sayfa 14 crawler olarak ve normal bir tarayıcı olarak istenir. Engeller ve doğrulama sayfaları işaretlenir, yanıt veren güvenlik duvarının adı belirtilir.
Her bulgu için bir çözüm
Her bulgu, yapılacak değişiklikle birlikte gelir. Ücretsiz kontrol puanınızı ve ilk bulguyu gösterir; tam rapor tek seferlik $29'dır.
Bir site AI crawler'larını iki yerde engelleyebilir: crawler'lardan uzak durmalarını isteyen robots.txt'de ve onları gerçekten reddeden sunucuda ya da güvenlik duvarında. robots.txt'de her crawler'ın token'ını arayın, bulamazsanız User-agent: * grubuna bakın; ardından sayfayı crawler olarak çekin ve bir tarayıcının aldığıyla karşılaştırın. Bir tarayıcı uzantısı robots.txt kısmını 16 AI crawler'ı için tek tıkla yapar.
3 adımda elle kontrol edin
- Crawler'ı seçin
Her AI şirketi ayrı crawler'lar çalıştırır. Eğitim:
GPTBot,ClaudeBot. Arama:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Bir kişinin isteğiyle:ChatGPT-User,Claude-User,Perplexity-User. - robots.txt'yi onun için okuyun
https://example.com/robots.txtadresini açın ve crawler'ın adını geçen grubu bulun. Hiçbir grup yoksaUser-agent: *grubu geçerlidir; ikisi de yoksa her şeye izin verilir. - Sayfayı crawler olarak çekin
Sayfayı crawler'ın user agent'ıyla isteyin, durum kodunu ve boyutu bir tarayıcınınkiyle karşılaştırın. 403, doğrulama sayfası ya da çok daha küçük bir 200, güvenlik duvarının crawler'ı reddettiği anlamına gelir.
Sık sorulan sorular
robots.txt dosyası olmayan bir site AI crawler'larına açık mıdır?
Evet, robots.txt açısından. robots.txt için 404 hiç kural olmadığı anlamına gelir, yani her crawler her sayfayı çekebilir. Yine de bir güvenlik duvarı crawler'ları engelleyebilir.
Uzantı güvenlik duvarı engellerini gösterir mi?
Hayır. Uzantı robots.txt dosyasını tarayıcınızdan okur; bu da sitenin crawler'lardan ne istediğini gösterir. Güvenlik duvarı ve bot koruması engellerini görmek için crawler olarak gönderilmiş bir istek gerekir; bunu aiseewhy.com'daki tam kontrol yapar.
Bana ait olmayan bir siteyi kontrol edebilir miyim?
Evet. robots.txt herkese açıktır ve uzantı yalnızca sitenin yayımladığı robots.txt ve llms.txt dosyalarını okur; bunlar her crawler'ın okuduğu dosyaların aynısıdır.
Tam rehberi okuyun
İster bir değişiklikten sonra kendi sitenizi kontrol ediyor olun, ister başka birinin sitesine güvenmeden önce ona bakıyor olun, “Bu site AI crawler'larını engelliyor mu?” sorusunun kesin bir yanıtı vardır. Yanıt hangi crawler'ı kastettiğinize bağlıdır, çünkü AI şirketleri eğitim, arama ve canlı ziyaretler için ayrı crawler'lar çalıştırır ve bir site her birine farklı davranabilir. Bu rehber, en hızlısından en eksiksizine üç kontrol gösteriyor.
Bir site AI crawler'larını nerede engelleyebilir?
Üç katman vardır ve bir crawler'ın bir sayfayı kullanabilmesi için hepsinden geçmesi gerekir.
- robots.txt: kurallara uyan crawler'ların bir şey çekmeden önce okuduğu, herkese açık bir kurallar dosyası. Bir kilit değil, bir ricadır.
- Sunucu, CDN ya da güvenlik duvarı: gerçekte neyin geri gönderileceğine bunlar karar verir. Bir bot koruma kuralı, robots.txt izin verse bile bir crawler'a 403, 429 ya da doğrulama sayfasıyla yanıt verebilir.
- Sayfanın kendisi: ana metin yalnızca JavaScript çalıştıktan sonra görünüyorsa, ilk HTML'i okuyan bir crawler neredeyse boş bir sayfa alır, oysa onu hiçbir şey engellememiştir.
Hızlı kontrollerin çoğu yalnızca ilk katmana bakar. Diğer ikisini unutmadığınız sürece bu iyi bir başlangıçtır.
Tek bir AI crawler'ı için robots.txt nasıl okunur?
Bir tarayıcıda https://example.com/robots.txt adresini açın ve crawler'a uygulanan grubu bulun. Bir grup bir ya da daha fazla User-agent satırıyla başlar. Crawler, GPTBot gibi kendi token'ını adıyla anan grubu kullanır; eşleştirmede büyük/küçük harf ayrımı yapılmaz. Onu anan bir grup yoksa User-agent: * grubunu kullanır. İkisi de yoksa her şeye izin verilir.
Grubun içinde en uzun eşleşen yola sahip kural kazanır; bir Allow ile bir Disallow eşit uzunluktaysa Allow kazanır. Dolayısıyla aşağıdaki dosya GPTBot'u sitenin tamamından engeller ama diğer tüm crawler'ları içeri alır:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Dosyanın nasıl yanıt verdiğine de bakın. RFC 9309'a göre 404 hiç kural olmadığı, yani her şeye izin verildiği anlamına gelir. Bir sunucu hatası (5xx) ya da hiç yanıt gelmemesi, crawler'ın sitenin tamamını yasaklanmış sayması gerektiği anlamına gelir. HTML sayfası döndüren bir robots.txt adresi yaygın bir hatadır: crawler'lar içinde geçerli bir kural bulamaz.
Tüm AI crawler'ları aynı anda nasıl kontrol edilir?
Birden fazla crawler'ı önemsediğinizde dosyayı elle okumak yavaşlar. Her AI şirketi, farklı görevleri olan birkaç crawler çalıştırır:
- Eğitim crawler'ları model eğitimi için içerik toplar:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, ayrıca yalnızca robots.txt'de görünenGoogle-ExtendedveApplebot-Extendedtoken'ları. - Arama crawler'ları, AI yanıtlarının onlara atıf yapabilmesi için sayfaları dizine ekler:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Kullanıcı crawler'ları, bir kişi asistandan istediğinde sayfayı çeker:
ChatGPT-User,Claude-User,Perplexity-User.
Chrome için ücretsiz Yapay Zekâ Bot Denetimi uzantısı bunu tek tıkla yapar. Herhangi bir sayfayı açıp simgeye tıklayın; uzantı o sitenin robots.txt dosyasını okur ve 16 crawler'ın her biri için sayfaya izin verilip verilmediğini ve bunu hangi satırın belirlediğini gösterir. Ayrıca Content-Signal tercihlerini, sitede bir llms.txt dosyası olup olmadığını ve robots.txt'de listelenen site haritalarını da gösterir. Tarayıcınızda çalışır, hesap gerektirmez ve yalnızca üzerinde tıkladığınız siteyi okur.
Chrome kullanmıyorsanız, aiseewhy.com'daki ücretsiz robots.txt denetleyicisi yapıştırdığınız bir URL için aynı yanıtı verir.
Güvenlik duvarının onları geçirip geçirmediği nasıl kontrol edilir?
robots.txt sitenin ne istediğini gösterir. Bir crawler'ın gerçekte ne aldığını görmek için sayfayı iki kez isteyin, bir kez tarayıcı olarak, bir kez de crawler'ın user agent'ıyla; ardından durum kodunu ve yanıtın boyutunu karşılaştırın:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Tarayıcı 200 alırken crawler 403, 429 ya da 503 veya çok daha küçük bir sayfa alıyorsa, bir güvenlik duvarı ya da bot koruması crawler'a farklı davranıyordur. Dışarıdan yapılan her testin bir sınırı vardır: istek AI şirketinin ağından değil, sizin ağınızdan gelir. Crawler'lara yayımlanmış IP adreslerine göre güvenen bir güvenlik duvarı gerçek crawler'a farklı davranabilir, bu yüzden son sözü sunucu günlükleriniz söyler.
aiseewhy.com'daki tam kontrol, sayfayı gerçek bir tarayıcının yanında 16 crawler'ın hepsi olarak çeker, bir crawler'ı engelleyen güvenlik duvarını ya da kuralı adıyla belirtir ve her birinin aldığı metni karşılaştırır.
Hangi sonucu hedeflemeliyim?
Ne istediğinize bağlı. ChatGPT aramasında, Claude'da ve Perplexity'de alıntılanmak istiyorsanız, arama ve kullanıcı crawler'larına robots.txt'de izin verilmeli ve bu crawler'lar sunucudan gerçek sayfayı almalıdır. İçeriğinizin eğitimde kullanılmasını istemiyorsanız yalnızca eğitim token'larını engelleyin. Bunlar ayrı tercihlerdir: GPTBot'u engellemek OAI-SearchBot'u engellemez, ClaudeBot'u engellemek de Claude-SearchBot'u engellemez.
Pek çok site bunları karıştırır. En popüler 1.000 alan adını incelediğimiz Kasım 2026 raporumuzda, bir eğitim crawler'ını engelleyen sitelerin %63'ü en az bir AI arama ya da kullanıcı crawler'ını da engelliyor; bu da sayfalarını o AI yanıtlarının dışında bırakıyor.
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- llms.txt denetleyici ve doğrulayıcı
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Kaynaklar
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI Crawler Access Report, 2026-11