Sitem neden birden AI crawler'larını engellemeye başladı?
AI crawler'larını engellemeye başlayan bir site neredeyse her zaman beş yerden birinde değişmiştir: gerçekten sunulan robots.txt, Cloudflare'in AI crawler politikaları gibi bir CDN ayarı, bot koruması ya da bir hız sınırı, bir barındırma varsayılanı veya artık hatayla yanıt veren bir robots.txt. Bugünkü robots.txt'yi ve bir sayfayı her crawler olarak çekin, bunları bir tarayıcıyla ve önceden sahip olduğunuzla karşılaştırın ve bu katmanları bu sırayla kontrol edin.
Kimse AI yanıtlarından kaybolmaya karar vermez. Bu, bir tema güncellemesinin, bir güvenlik ayarının, bir taşımanın ya da bir sağlayıcıda değişen bir varsayılanın yan etkisi olarak olur. Tarayıcı siteyi hâlâ normal görür; bu yüzden değişiklik, biri ChatGPT'ye ya da Perplexity'ye ürünü sorup bir rakibi duyana kadar fark edilmeyebilir. Her katman dışarıdan ya da günlüklerinizde kontrol edebileceğiniz izler bırakır.
Bu sayfada
- Crawler'ların aldığı robots.txt değişti mi?
- Cloudflare'in 2026 AI crawler politikaları sitemin izin verdiklerini değiştirdi mi?
- Bot koruması ya da bir hız sınırı crawler'ları mı yakalıyor?
- Barındırma sağlayıcım varsayılanlarını mı değiştirdi?
- robots.txt hatayla mı yanıt veriyor?
- Ne zaman başladığını nasıl bulurum?
- Bir dahaki sefere bunu nasıl daha erken yakalarım?
Crawler'ların aldığı robots.txt değişti mi?
https://yourdomain.com/robots.txt adresini çekin ve deponuzdaki ya da yedeğinizdeki dosyayla karşılaştırın. Diskteki dosyaya değil, sunulan dosyaya bakın, çünkü yol üzerindeki birkaç katman onu değiştirebilir:
- Bir dağıtım
Disallow: /içeren bir hazırlık (staging) robots.txt'sini yayına alır ya da bir taşıma platform varsayılanını yerinde bırakır. - Bir site oluşturucu ayarı AI crawler kuralları ekler. Örneğin Squarespace'in Block known artificial intelligence crawlers seçeneği robots.txt'ye 26 bot adı yazar ve zamanla daha fazlasının eklenebileceğini söyler. Varsayılan olarak kapalıdır, yani birinin açması gerekir, ama liste sonradan büyüyebilir.
- Bir SEO ya da güvenlik eklentisi güncellemesi yeni kurallar yazar veya birinin açtığı yeni bir seçenek ekler.
- Cloudflare, Bot Preference Sync açıkken ve bir AI politikası Block ya da Disallow olarak ayarlıyken yönetilen robots.txt'sini dosyanızın başına ekler. Sunulan dosya o zaman, kendi dosyanız değişmemiş olsa da
ClaudeBot,GPTBotve altı eğitim token'ı daha içinDisallow: /ile başlar. - Bir eğitim crawler'ı için yazılmış bir kural,
OAI-SearchBot,Claude-SearchBotya daPerplexityBotgibi arama crawler'ları dahil başkalarına kopyalanmıştır.
Google Search Console'un robots.txt raporu, Google'ın son 30 günde çektiği sürümleri, dosya ya da çekme sonucu her değiştiğinde yeni bir kayıtla gösterir. Yalnızca Google'ın gördüğünü kapsar, ama sunucunuz robots.txt'yi user agent'a göre değiştirmiyorsa AI crawler'ları da aynı dosyayı aldı.
Cloudflare'in 2026 AI crawler politikaları sitemin izin verdiklerini değiştirdi mi?
Cloudflare AI crawler denetimlerini birkaç kez değiştirdi ve bazı değişiklikler, kimse düzenlemeden bir bölgenin (zone) davranışını değiştiriyor. 1 Temmuz 2025'te yeni alan adlarına kayıt sırasında AI crawler'larına izin verilip verilmeyeceğini sormaya başladı ve başlangıç durumu engellemeydi. 1 Temmuz 2026'da tek Block AI bots anahtarını, Free dahil tüm planlarda ayrı Search, Agent ve Training politikalarıyla değiştirdi.
Çoğu siteyi yakalayan ayrıntı çok amaçlı crawler'lar. Cloudflare'in belgeleri Training eylemlerinin hem arama hem eğitim için kullanılan crawler'lara da uygulandığını söylüyor. Temmuz 2026 duyurusu, 15 Eylül 2026'dan itibaren Training'i yeni seçeneklerle ya da eski Block AI bots ayarıyla engellemeyi seçen müşteriler için Googlebot, Applebot ve BingBot gibi çok amaçlı crawler'ların engelleneceğini söylüyordu. Yani bir yıl önce ayarlanmış bir eğitim opt-out'u artık arama crawler'larına da uzanabilir.
Yeni alan adlarının varsayılanları zaman içinde farklı anlatıldı. Aynı duyuru, 15 Eylül 2026'dan itibaren yeni alan adlarında reklam gösteren sayfalarda Training ve Agent'ın engelleneceğini söylerken, 2 Kasım 2026'da güncellenen politika belgeleri yeni alan adlarının üçünü de Allow ile başlattığını söylüyor. Security, ardından Settings'i açın, Bot traffic ile filtreleyin ve kendi bölgeniz için AI Crawler and Agent access policies'i okuyun. Cloudflare AI Crawl Control rehberimiz her ayarı açıklıyor.
Bot koruması ya da bir hız sınırı crawler'ları mı yakalıyor?
Bot koruması her isteği değerlendirir; crawler'lar ise veri merkezlerinden hızla çok sayıda sayfa çeker, yani tam olarak botların yaptığını yapar. Geçen ay geçebilen bir crawler, işletmecisi IP aralıklarını ya da tarama hızını değiştirdikten sonra veya koruma kuralları güncellendikten sonra doğrulama sayfaları almaya başlayabilir. Cloudflare'in Bot Fight Mode'u yaygın bir nedendir ve Cloudflare bunun WAF özel kurallarıyla ya da Page Rules ile atlanamayacağını söylüyor; yani açık olduğu sürece sonradan eklenen bir izin kuralı işe yaramaz. Patlamalara 429 ile yanıt veren yeni bir hız sınırı yoğun bir crawler'da aynı etkiyi yapar.
Dışarıdan test edin: bir sayfayı tarayıcı olarak ve iki AI arama crawler'ı olarak isteyin, ardından robots.txt'yi bir crawler olarak isteyin.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Yalnızca bir crawler için 403, 429 ya da 503, başlığı Just a moment... olan bir sayfa veya tarayıcınınkinden çok daha küçük bir gövde, crawler'a farklı davranıldığı anlamına gelir. Test sağlayıcının değil sizin IP'nizden gelir; bu yüzden doğrulanmış bot durumuna dayanan kurallar gerçek crawler'a yine farklı davranabilir. Hangi kuralın yanıt verdiğini güvenlik duvarının olay günlüğü gösterir.
Barındırma sağlayıcım varsayılanlarını mı değiştirdi?
Bazı barındırma sağlayıcıları AI trafiğini sizin kurallarınız çalışmadan önce sunucuda filtreler. Örneğin SiteGround Ağustos 2025'te, eğitim verisi toplamak için tasarlanmış AI crawler'larını varsayılan olarak engellediğini ve biri bir AI asistanına bir sayfayı sorduğunda gelen crawler'lara izin verdiğini yazdı. Bu tür kurallar robots.txt dosyanızda görünmez ve sağlayıcı bot listelerini güncellediğinde değişebilir.
Bir engel aynı sağlayıcıdaki birkaç sitede aynı anda ya da uygulama günlüklerinize hiç ulaşmayan yanıtlarda görünüyorsa, sağlayıcıya hesabınıza hangi bot kurallarının uygulandığını ve korumak istediğiniz crawler'ları muaf tutup tutamayacağınızı sorun.
robots.txt hatayla mı yanıt veriyor?
Başarısız olan bir robots.txt herhangi bir Disallow satırından daha fazlasını engelleyebilir. RFC 9309'a göre 4xx yanıtı crawler'ın her şeyi çekebileceği anlamına gelir, ama bir sunucu hatası (5xx) ya da hiç yanıt olmaması tüm sitenin yasak olduğunu varsayması gerektiği anlamına gelir. Google bu tür hataların ilk 12 saatinde taramayı durdurur, ardından son sağlam kopyasını 30 güne kadar kullanır.
Bir yük artışı, /robots.txt'ye doğrulama uygulayan bir güvenlik duvarı kuralı ya da onu da kapsayan bir hız sınırı, tek bir kural değişmeden kurallara uyan crawler'ları bu şekilde dışarıda bırakabilir. Yukarıdaki testteki son komut 200 ve text/plain döndürmelidir. Orada bir 5xx, zaman aşımı ya da doğrulama sayfası, düzeltilecek ilk şeydir.
Ne zaman başladığını nasıl bulurum?
Bir tarih, bir gizemi bir farka (diff) dönüştürür. Erişim günlüklerinizde AI crawler user agent'larından gelen istekleri filtreleyin ve durum kodlarının 200'den 403, 429 ya da 503'e döndüğü günü veya robots.txt'yi okuduktan sonra sayfa istemeyi bıraktıkları günü arayın; sunucu günlüklerinde AI crawler'larını kontrol etme rehberimizde komutlar var. CDN'inizin engellediği istekler kaynak sunucuya hiç ulaşmaz; bu yüzden CDN'i de kontrol edin. Cloudflare'de AI Crawl Control, crawler'a göre filtreleyebileceğiniz zaman içindeki durum kodu dağılımını gösterir.
Ardından bu tarihi dağıtımlar, eklenti ve tema güncellemeleri, CDN ayar değişiklikleri ve sağlayıcı duyurularıyla karşılaştırın. Harekete geçmeden önce kaynak IP'lerin sağlayıcıya ait olduğunu doğrulayın; böylece adını kullanan bir taklitçiye değil, gerçek crawler'a bakıyor olursunuz.
Bir dahaki sefere bunu nasıl daha erken yakalarım?
Erişimi yalnızca trafik düştüğünde değil, her dağıtımdan, CDN değişikliğinden ve eklenti güncellemesinden sonra kontrol edin. Ücretsiz AISeeWhy denetimi bir sayfayı gerçek bir tarayıcının yanında 16 AI ve arama crawler'ı olarak çeker, robots.txt dosyanızı crawler bazında uygular ve güvenlik duvarı doğrulama sayfalarını tanır. Ücretsiz robots.txt denetleyicisi, bugün yayında olan dosyaya göre bir sayfanın çekilip çekilemeyeceğini crawler bazında gösterir.
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- Yapay zekâ tarayıcısı IP denetimi
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Sık sorulan sorular
ChatGPT sitemi göstermeyi neden bıraktı?
Çoğu zaman, ChatGPT aramasının arkasındaki crawler olan OAI-SearchBot bir robots.txt değişikliği, bir CDN politikası ya da bot koruması yüzünden engellendiği için. OpenAI, onu engelleyen sitelerin ChatGPT arama yanıtlarında görünmeyeceğini söylüyor. Bu crawler için her katmanı kontrol edin ve bir robots.txt düzeltmesinden sonra yaklaşık 24 saat bekleyin; OpenAI sistemlerinin uyum sağlamasının bu kadar sürdüğünü söylüyor.
Cloudflare sitemde Googlebot'u engellemeye mi başladı?
Bu olabilir. Cloudflare, 15 Eylül 2026'dan itibaren Training'i engelleyen müşterilerin Googlebot, Applebot ve BingBot gibi çok amaçlı crawler'ları da engelleyeceğini söyledi. Belgeleri ise Training Disallow seçeneğinin eğitim crawler'larını uçta (edge) engellediğini ama karma kullanımlı crawler'ları dışarıda bıraktığını söylüyor; bu yüzden bölgenizin hangi seçeneği kullandığını kontrol edin.
Bir site oluşturucu ya da eklenti robots.txt'yi benim yerime değiştirebilir mi?
Evet. Site oluşturucular ve SEO ya da güvenlik eklentileri robots.txt'ye AI crawler kuralları yazabilir ve bazıları bot listelerini zamanla genişletir. Her güncellemeden sonra canlı dosyayı çekin ve önem verdiğiniz arama crawler'larına uygulanan grupları okuyun.
Canlı robots.txt'm neden sunucumdaki dosyadan farklı?
Sunucunuzun önündeki bir şey onu değiştiriyor. Örneğin Cloudflare'in yönetilen robots.txt'si aynı yanıtta kendi kurallarını ve içerik sinyallerini dosyanızın başına ekler. robots.txt'yi istek anında üreten bir CMS ya da barındırma düzeyinde bir ayar da onu değiştirebilir veya genişletebilir.
Düzelttikten sonra AI crawler'larının geri dönmesi ne kadar sürer?
RFC 9309, crawler'ların önbelleğe alınmış bir robots.txt'yi 24 saatten uzun kullanmaması gerektiğini söylüyor; OpenAI yaklaşık 24 saat, Perplexity en fazla 24 saat diyor. Güvenlik duvarı değişiklikleri sağlayıcınız onları dağıtır dağıtmaz geçerli olur, ama crawler'lar kendi programlarına göre geri gelir.
Kaynaklar
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers