AI crawler'larını engellemeden nasıl yavaşlatırsınız

Yayınlanma

Kısa cevap

Engellemek yerine hızı sınırlayın. Fazla crawler isteklerine bir Retry-After başlığıyla 429 ya da 503 ile yanıt verin, her crawler'a kendi bütçesini verin, /robots.txt'yi her sınırın dışında tutun ve crawler'lara önbellekten sunun. robots.txt'deki Crawl-delay yalnızca işletmecinin belgelediği yerde işe yarar: Anthropic ve Bing belgeliyor, Google desteklemediğini söylüyor, OpenAI ve Perplexity ise ondan söz etmiyor. AI arama crawler'larına izin vermeye devam edin; yoksa besledikleri yanıtlardan da çıkarsınız.

Bir crawler saatte binlerce istek gönderdiğinde hızlı çözüm Disallow: / ya da bir güvenlik duvarı engelidir. Bir eğitim crawler'ı için bu makul bir seçim olabilir. OAI-SearchBot, Claude-SearchBot ya da PerplexityBot için ise sayfalarınızı görünmek istediğiniz AI yanıtlarından çıkarır. Çoğu zaman yük, bundan vazgeçmeden, crawler'ların zaten anladığı sinyallerle azaltılabilir: durum kodları, önbellek ve bazı işletmeciler için Crawl-delay.

Bu sayfada
  1. Yükü gerçekte hangi crawler oluşturuyor?
  2. Crawl-delay AI crawler'larında işe yarar mı?
  3. 429 ve 503 yanıtları crawler'ları nasıl yavaşlatır?
  4. AI crawler'ları için nasıl hız sınırı koyarım?
  5. Önbellek crawler yükünü azaltabilir mi?
  6. Crawler'ları yavaşlatırken nelerden kaçınmalıyım?
  7. Crawler'ların hâlâ geçtiğini nasıl kontrol ederim?

Yükü gerçekte hangi crawler oluşturuyor?

Bir şeyi değiştirmeden önce bakın. Erişim günlüklerinizde istekleri user agent ve saat bazında sayın, kaynak IP'leri her sağlayıcının yayımladığı aralıklarla kontrol edin; sunucu günlüklerinde AI crawler'larını kontrol etme rehberimizde komutlar var. Sık çıkan iki bulgu var:

Crawler'ları işlerine göre de ayırın. GPTBot ve ClaudeBot gibi eğitim crawler'ları sizi AI aramasında kaynak gösterilebilir kılanlar değildir; bu yüzden sorun bunlardan biriyse onu engellemek makul bir seçenektir. Bu rehberin geri kalanı korumak istediğiniz crawler'lar içindir.

Crawl-delay AI crawler'larında işe yarar mı?

Crawl-delay RFC 9309'un parçası değil; bu yüzden onu okuyup okumayacağına her işletmeci kendisi karar verir. Kasım 2026 itibarıyla belgeler şunu söylüyor:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Grup mantığına dikkat edin. Kendi adıyla bir grup bulan crawler User-agent: * grubunu tamamen yok sayar; yani yalnızca Crawl-delay içeren bir ClaudeBot grubu, herkes için koyduğunuz her Disallow'u düşürür. Yukarıdaki gibi onları tekrarlayın. Bing Crawl-delay'i iki gruptan herhangi birinden okuduğu bir istisna olarak tanımlıyor, ama bunu diğer crawler'lar için varsaymamalısınız.

429 ve 503 yanıtları crawler'ları nasıl yavaşlatır?

Yük zirveleri için durum kodu, crawler'ların uymak üzere tasarlandığı sinyaldir. RFC 6585'te tanımlanan 429 Too Many Requests, istemcinin belirli bir sürede çok fazla istek gönderdiği anlamına gelir ve ne kadar bekleneceğini söyleyen bir Retry-After başlığı taşıyabilir. 503 Service Unavailable ise sunucunun şu anda yetişemediğini söyler.

Google bunu Googlebot'un tarama hızını hızla düşürmenin yolu olarak belgeliyor: bazı tarama isteklerine 200 yerine 500, 503 ya da 429 döndürün. Bunun tüm ana makine adı için tarama hızını düşürdüğünü ve Retry-After'ın saniye cinsinden bir sayı ya da bir tarih taşıyabileceğini söylüyor.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Kısa tutun. Google bunu bir iki günden uzun yapmamayı öneriyor, çünkü birkaç gün boyunca bu kodları döndüren bir URL dizinden düşürülebilir. Kalıcı bir azaltma için Google bunun yerine Search Console üzerinden özel bir istek sunuyor.

OpenAI, Anthropic ve Perplexity crawler'larının 429, 503 ya da Retry-After'a nasıl tepki verdiğini belgelemiyor. Bu kodlar daha azını istemenin standart yolu, ama her AI crawler'ının ne kadar hızlı geri çekildiği bakıp öğrenebileceğiniz bir şey değil.

AI crawler'ları için nasıl hız sınırı koyarım?

Tüm trafik için tek bir sınır yerine her crawler'a kendi bütçesini verin ve bunu aşan isteklere 429 ile yanıt verin. nginx'te bunu limit_req modülü yapar. Anahtarı boş olan istekler sayılmaz; yani yalnızca crawler user agent'ları için anahtar döndüren bir map insan ziyaretçilere dokunmaz. Burada her crawler dakikada 60 istek ve 20'lik bir burst alıyor:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Buradaki anahtar user agent; yani bir crawler'ın adını kopyalayan herkes o crawler'ın bütçesini paylaşır. Bir hız sınırı için bu kabul edilebilir. Bir izin kuralı için sağlayıcının yayımladığı IP aralıklarını da eşleştirin.

Cloudflare'de rate limiting rules aynı işi uçta yapar. Free planda 10 saniye boyunca IP başına sayan bir kural alırsınız ve kural ifadesi yolu ve Verified Bot alanını kullanabilir. IP başına saymak, isteklerini birçok adrese yayan crawler'lar için kabadır; üst planlar daha fazla sayma seçeneği ekler. Varsayılan yanıt 429'dur ve başka bir 4xx kodu ile özel bir gövde ayarlayabilirsiniz. AI Crawl Control her crawler için Allow, Block ve özel betada Charge sunar, ama hız ayarı yoktur.

Ne kullanırsanız kullanın, /robots.txt'yi sınırın dışında tutun. RFC 9309, robots.txt için bir sunucu hatasının crawler'ın tüm sitenin yasak olduğunu varsaymasını gerektirdiğini söylüyor; Google da 429'u eksik dosya olarak ele aldığı 4xx kodlarının dışında tutuyor.

Önbellek crawler yükünü azaltabilir mi?

Çoğu zaman bir hız sınırından daha fazla. Crawler'lar çoğunlukla her ziyaretçi için aynı olan herkese açık sayfaları ister; bu yüzden onları bir CDN'den ya da sayfa önbelleğinden sunmak pahalı oluşturmaları ucuz isabetlere dönüştürür. Önbelleğinizin crawler user agent'ları için ayrı, önbelleğe alınmamış bir varyant tutmadığını kontrol edin.

Koşullu istekler de yardımcı olur. Google, crawler'larının ETag ve If-None-Match ile, ayrıca Last-Modified ve If-Modified-Since ile HTTP önbelleğini desteklediğini ve ikisi birden varsa ETag'i kullandığını söylüyor. OpenAI, Anthropic ve Perplexity crawler sayfaları crawler'larının koşullu istek gönderip göndermediğini söylemiyor; bu yüzden bu tasarrufu yalnızca Google için hesaba katın.

Crawler'ları yavaşlatırken nelerden kaçınmalıyım?

Crawler'ların hâlâ geçtiğini nasıl kontrol ederim?

Hız sınırlarını fazla sıkı ayarlamak kolaydır. Ücretsiz AISeeWhy denetimi bir sayfayı gerçek bir tarayıcının yanında 16 AI ve arama crawler'ı olarak çeker, robots.txt dosyanızı crawler bazında uygular ve güvenlik duvarı doğrulama sayfalarını tanır; böylece crawler'lara tarayıcılardan farklı yanıt veren bir kural ortaya çıkar. Crawler başına tek istek makul bir sınırı tetiklemez, amaç da bu: normal isteklerin hâlâ geçtiğini doğrulamak için kuralları değiştirdikten sonra çalıştırın. Ücretsiz AI crawler IP kontrolü, günlüklerinizdeki bir IP'nin gerçekten GPTBot'a ya da başka bir crawler'a ait olup olmadığını söyler.

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

Google Crawl-delay'i destekliyor mu?

Hayır. Google'ın robots.txt belgeleri crawl-delay'i desteklemediği alanlar arasında listeliyor. Googlebot'u kısa süreliğine yavaşlatmak için bazı isteklere 503, 500 ya da 429 döndürün; daha uzun bir azaltma için Google, Search Console üzerinden özel bir istek sunuyor.

ClaudeBot Crawl-delay'e uyar mı?

Anthropic standart dışı Crawl-delay uzantısını desteklediğini söylüyor. Onu bir ClaudeBot grubuna koyun ve User-agent: * grubunuzdaki tüm Disallow kurallarını orada tekrarlayın.

GPTBot ve PerplexityBot Crawl-delay'i destekliyor mu?

OpenAI'ın ve Perplexity'nin crawler sayfaları Crawl-delay'den söz etmiyor; bu yüzden etkisi belgelenmemiş. Fazla isteklere 429 ile yanıt veren sunucu tarafı bir sınır kullanın.

429 yanıtı sıralamalarıma zarar verir mi?

Kısa bir süre için hayır. Google 429 ve 503'ü taramayı geçici olarak azaltmanın bir yolu olarak belgeliyor, ama bunları birkaç gün boyunca döndüren URL'lerin dizinden düşürülebileceği konusunda uyarıyor.

Yükü azaltmak için GPTBot'u engellemeli miyim?

Engelleyebilirsiniz. OpenAI, GPTBot'un eğitimde kullanılabilecek içeriği taradığını ve her robots.txt ayarının bağımsız olduğunu söylüyor; yani onu engellemek sizi OAI-SearchBot'u kullanan ChatGPT aramasından çıkarmaz. Yükün OpenAI'ın adreslerinden geldiğinden emin olmak için önce günlüklerinizi kontrol edin.

Kaynaklar

Diğer makaleler