AI crawler'larını engellemeden nasıl yavaşlatırsınız
Engellemek yerine hızı sınırlayın. Fazla crawler isteklerine bir Retry-After başlığıyla 429 ya da 503 ile yanıt verin, her crawler'a kendi bütçesini verin, /robots.txt'yi her sınırın dışında tutun ve crawler'lara önbellekten sunun. robots.txt'deki Crawl-delay yalnızca işletmecinin belgelediği yerde işe yarar: Anthropic ve Bing belgeliyor, Google desteklemediğini söylüyor, OpenAI ve Perplexity ise ondan söz etmiyor. AI arama crawler'larına izin vermeye devam edin; yoksa besledikleri yanıtlardan da çıkarsınız.
Bir crawler saatte binlerce istek gönderdiğinde hızlı çözüm Disallow: / ya da bir güvenlik duvarı engelidir. Bir eğitim crawler'ı için bu makul bir seçim olabilir. OAI-SearchBot, Claude-SearchBot ya da PerplexityBot için ise sayfalarınızı görünmek istediğiniz AI yanıtlarından çıkarır. Çoğu zaman yük, bundan vazgeçmeden, crawler'ların zaten anladığı sinyallerle azaltılabilir: durum kodları, önbellek ve bazı işletmeciler için Crawl-delay.
Bu sayfada
- Yükü gerçekte hangi crawler oluşturuyor?
- Crawl-delay AI crawler'larında işe yarar mı?
- 429 ve 503 yanıtları crawler'ları nasıl yavaşlatır?
- AI crawler'ları için nasıl hız sınırı koyarım?
- Önbellek crawler yükünü azaltabilir mi?
- Crawler'ları yavaşlatırken nelerden kaçınmalıyım?
- Crawler'ların hâlâ geçtiğini nasıl kontrol ederim?
Yükü gerçekte hangi crawler oluşturuyor?
Bir şeyi değiştirmeden önce bakın. Erişim günlüklerinizde istekleri user agent ve saat bazında sayın, kaynak IP'leri her sağlayıcının yayımladığı aralıklarla kontrol edin; sunucu günlüklerinde AI crawler'larını kontrol etme rehberimizde komutlar var. Sık çıkan iki bulgu var:
- Yoğun trafik yalnızca bir AI crawler'ı olduğunu iddia ediyor. IP'ler sağlayıcının listesinde değilse, gerçek crawler için yazılmış kurallar işe yaramaz. Bu trafiği bunun yerine kaynağına göre sınırlayın ya da engelleyin.
- Gerçek bir crawler bir tarama tuzağına (crawl trap) takılmış: sonsuz takvim sayfaları, filtre kombinasyonları ya da URL'lerde oturum kimlikleri gibi. Tuzağı bu yollar için
Disallowkurallarıyla kapatmak, herhangi bir hız sınırından daha fazla tasarruf sağlar.
Crawler'ları işlerine göre de ayırın. GPTBot ve ClaudeBot gibi eğitim crawler'ları sizi AI aramasında kaynak gösterilebilir kılanlar değildir; bu yüzden sorun bunlardan biriyse onu engellemek makul bir seçenektir. Bu rehberin geri kalanı korumak istediğiniz crawler'lar içindir.
Crawl-delay AI crawler'larında işe yarar mı?
Crawl-delay RFC 9309'un parçası değil; bu yüzden onu okuyup okumayacağına her işletmeci kendisi karar verir. Kasım 2026 itibarıyla belgeler şunu söylüyor:
- Anthropic: destekleniyor. Yardım sayfası, tarama etkinliğini sınırlamak için standart dışı
Crawl-delayuzantısını desteklediğini söylüyor ve örnek olarak birClaudeBotgrubundaCrawl-delay: 1veriyor. - Microsoft Bing: destekleniyor. Bing'in web yöneticisi blogu değeri,
bingbot'un en fazla bir sayfa taradığı 1 ila 30 saniyelik bir zaman penceresi olarak tanımlıyor ve robots.txt'deki crawl delay'in Bing Webmaster Tools'taki tarama ayarlarını geçersiz kıldığını söylüyor. - Google: desteklenmiyor. Google'ın robots.txt belgeleri
crawl-delay'i desteklemediği bir alan olarak adlandırıyor. - OpenAI ve Perplexity: crawler sayfaları ondan söz etmiyor; bu yüzden
GPTBot,OAI-SearchBotya daPerplexityBotüzerindeki etkisi belgelenmemiş.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Grup mantığına dikkat edin. Kendi adıyla bir grup bulan crawler User-agent: * grubunu tamamen yok sayar; yani yalnızca Crawl-delay içeren bir ClaudeBot grubu, herkes için koyduğunuz her Disallow'u düşürür. Yukarıdaki gibi onları tekrarlayın. Bing Crawl-delay'i iki gruptan herhangi birinden okuduğu bir istisna olarak tanımlıyor, ama bunu diğer crawler'lar için varsaymamalısınız.
429 ve 503 yanıtları crawler'ları nasıl yavaşlatır?
Yük zirveleri için durum kodu, crawler'ların uymak üzere tasarlandığı sinyaldir. RFC 6585'te tanımlanan 429 Too Many Requests, istemcinin belirli bir sürede çok fazla istek gönderdiği anlamına gelir ve ne kadar bekleneceğini söyleyen bir Retry-After başlığı taşıyabilir. 503 Service Unavailable ise sunucunun şu anda yetişemediğini söyler.
Google bunu Googlebot'un tarama hızını hızla düşürmenin yolu olarak belgeliyor: bazı tarama isteklerine 200 yerine 500, 503 ya da 429 döndürün. Bunun tüm ana makine adı için tarama hızını düşürdüğünü ve Retry-After'ın saniye cinsinden bir sayı ya da bir tarih taşıyabileceğini söylüyor.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Kısa tutun. Google bunu bir iki günden uzun yapmamayı öneriyor, çünkü birkaç gün boyunca bu kodları döndüren bir URL dizinden düşürülebilir. Kalıcı bir azaltma için Google bunun yerine Search Console üzerinden özel bir istek sunuyor.
OpenAI, Anthropic ve Perplexity crawler'larının 429, 503 ya da Retry-After'a nasıl tepki verdiğini belgelemiyor. Bu kodlar daha azını istemenin standart yolu, ama her AI crawler'ının ne kadar hızlı geri çekildiği bakıp öğrenebileceğiniz bir şey değil.
AI crawler'ları için nasıl hız sınırı koyarım?
Tüm trafik için tek bir sınır yerine her crawler'a kendi bütçesini verin ve bunu aşan isteklere 429 ile yanıt verin. nginx'te bunu limit_req modülü yapar. Anahtarı boş olan istekler sayılmaz; yani yalnızca crawler user agent'ları için anahtar döndüren bir map insan ziyaretçilere dokunmaz. Burada her crawler dakikada 60 istek ve 20'lik bir burst alıyor:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Buradaki anahtar user agent; yani bir crawler'ın adını kopyalayan herkes o crawler'ın bütçesini paylaşır. Bir hız sınırı için bu kabul edilebilir. Bir izin kuralı için sağlayıcının yayımladığı IP aralıklarını da eşleştirin.
Cloudflare'de rate limiting rules aynı işi uçta yapar. Free planda 10 saniye boyunca IP başına sayan bir kural alırsınız ve kural ifadesi yolu ve Verified Bot alanını kullanabilir. IP başına saymak, isteklerini birçok adrese yayan crawler'lar için kabadır; üst planlar daha fazla sayma seçeneği ekler. Varsayılan yanıt 429'dur ve başka bir 4xx kodu ile özel bir gövde ayarlayabilirsiniz. AI Crawl Control her crawler için Allow, Block ve özel betada Charge sunar, ama hız ayarı yoktur.
Ne kullanırsanız kullanın, /robots.txt'yi sınırın dışında tutun. RFC 9309, robots.txt için bir sunucu hatasının crawler'ın tüm sitenin yasak olduğunu varsaymasını gerektirdiğini söylüyor; Google da 429'u eksik dosya olarak ele aldığı 4xx kodlarının dışında tutuyor.
Önbellek crawler yükünü azaltabilir mi?
Çoğu zaman bir hız sınırından daha fazla. Crawler'lar çoğunlukla her ziyaretçi için aynı olan herkese açık sayfaları ister; bu yüzden onları bir CDN'den ya da sayfa önbelleğinden sunmak pahalı oluşturmaları ucuz isabetlere dönüştürür. Önbelleğinizin crawler user agent'ları için ayrı, önbelleğe alınmamış bir varyant tutmadığını kontrol edin.
Koşullu istekler de yardımcı olur. Google, crawler'larının ETag ve If-None-Match ile, ayrıca Last-Modified ve If-Modified-Since ile HTTP önbelleğini desteklediğini ve ikisi birden varsa ETag'i kullandığını söylüyor. OpenAI, Anthropic ve Perplexity crawler sayfaları crawler'larının koşullu istek gönderip göndermediğini söylemiyor; bu yüzden bu tasarrufu yalnızca Google için hesaba katın.
Crawler'ları yavaşlatırken nelerden kaçınmalıyım?
- Bir sağlayıcının IP aralıklarını güvenlik duvarında engellemek. Anthropic, botlarının robots.txt dosyanızı okumasını engellediği için bunun düzgün çalışmayabileceği ya da bir opt-out'u yerinde tutmayabileceği konusunda uyarıyor.
- Günlerce
5xxya da429sunmak. Google, bunları döndürmeye devam eden URL'lerin dizinden düşürülebileceğini söylüyor. - Bot korumasını bir kısıtlayıcı olarak kullanmak. Cloudflare'in Bot Fight Mode'u botlara hesaplama açısından pahalı doğrulamalar uygular ve WAF özel kurallarıyla atlanamaz; yani korumak istediğiniz crawler'ları muaf tutamazsınız.
- Bant genişliğinden tasarruf etmek için bir arama crawler'ını engellemek.
OAI-SearchBot,Claude-SearchBotya daPerplexityBotiçin birDisallow, sizi bu crawler'ların beslediği yanıtlardan çıkarır.
Crawler'ların hâlâ geçtiğini nasıl kontrol ederim?
Hız sınırlarını fazla sıkı ayarlamak kolaydır. Ücretsiz AISeeWhy denetimi bir sayfayı gerçek bir tarayıcının yanında 16 AI ve arama crawler'ı olarak çeker, robots.txt dosyanızı crawler bazında uygular ve güvenlik duvarı doğrulama sayfalarını tanır; böylece crawler'lara tarayıcılardan farklı yanıt veren bir kural ortaya çıkar. Crawler başına tek istek makul bir sınırı tetiklemez, amaç da bu: normal isteklerin hâlâ geçtiğini doğrulamak için kuralları değiştirdikten sonra çalıştırın. Ücretsiz AI crawler IP kontrolü, günlüklerinizdeki bir IP'nin gerçekten GPTBot'a ya da başka bir crawler'a ait olup olmadığını söyler.
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- Yapay zekâ tarayıcısı IP denetimi
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Sık sorulan sorular
Google Crawl-delay'i destekliyor mu?
Hayır. Google'ın robots.txt belgeleri crawl-delay'i desteklemediği alanlar arasında listeliyor. Googlebot'u kısa süreliğine yavaşlatmak için bazı isteklere 503, 500 ya da 429 döndürün; daha uzun bir azaltma için Google, Search Console üzerinden özel bir istek sunuyor.
ClaudeBot Crawl-delay'e uyar mı?
Anthropic standart dışı Crawl-delay uzantısını desteklediğini söylüyor. Onu bir ClaudeBot grubuna koyun ve User-agent: * grubunuzdaki tüm Disallow kurallarını orada tekrarlayın.
GPTBot ve PerplexityBot Crawl-delay'i destekliyor mu?
OpenAI'ın ve Perplexity'nin crawler sayfaları Crawl-delay'den söz etmiyor; bu yüzden etkisi belgelenmemiş. Fazla isteklere 429 ile yanıt veren sunucu tarafı bir sınır kullanın.
429 yanıtı sıralamalarıma zarar verir mi?
Kısa bir süre için hayır. Google 429 ve 503'ü taramayı geçici olarak azaltmanın bir yolu olarak belgeliyor, ama bunları birkaç gün boyunca döndüren URL'lerin dizinden düşürülebileceği konusunda uyarıyor.
Yükü azaltmak için GPTBot'u engellemeli miyim?
Engelleyebilirsiniz. OpenAI, GPTBot'un eğitimde kullanılabilecek içeriği taradığını ve her robots.txt ayarının bağımsız olduğunu söylüyor; yani onu engellemek sizi OAI-SearchBot'u kullanan ChatGPT aramasından çıkarmaz. Yükün OpenAI'ın adreslerinden geldiğinden emin olmak için önce günlüklerinizi kontrol edin.
Kaynaklar
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers