AI botlarını bloklamadan necə yavaşlatmaq olar

Dərc olunub

Qısa cavab

Bloklamaq əvəzinə sürəti məhdudlaşdırın (rate limit). Botların artıq sorğularına 429 və ya 503 və Retry-After başlığı ilə cavab verin, hər bota öz limitini verin, /robots.txt-i bütün limitlərdən kənarda saxlayın və botlara səhifələri keşdən verin. robots.txt-dəki Crawl-delay yalnız operatorun onu sənədləşdirdiyi yerdə kömək edir: Anthropic və Bing sənədləşdirir, Google onu dəstəkləmədiyini deyir, OpenAI və Perplexity isə xatırlatmır. AI axtarış botlarına icazəni saxlayın, əks halda onların qidalandırdığı cavablardan da çıxırsınız.

Bot saatda minlərlə sorğu göndərəndə tez həll Disallow: / və ya firewall bloku olur. Təlim botu üçün bu, ağlabatan seçim ola bilər. OAI-SearchBot, Claude-SearchBot və ya PerplexityBot üçün isə bu, səhifələrinizi görünmək istədiyiniz AI cavablarından çıxarır. Çox vaxt yükü bundan imtina etmədən, botların artıq başa düşdüyü siqnallarla azaltmaq olar: status kodları, keşləmə və bəzi operatorlar üçün Crawl-delay.

Bu səhifədə
  1. Yükü əslində hansı bot yaradır?
  2. Crawl-delay AI botları üçün işləyirmi?
  3. 429 və 503 cavabları botları necə yavaşladır?
  4. AI botları üçün rate limit-i necə qurum?
  5. Keşləmə botların yükünü azalda bilərmi?
  6. Botları yavaşladarkən nədən qaçmalıyam?
  7. Botların hələ də keçdiyini necə yoxlayım?

Yükü əslində hansı bot yaradır?

Bir şey dəyişməzdən əvvəl baxın. Giriş loglarınızda sorğuları user agent və saat üzrə sayın, mənbə IP-lərini hər təchizatçının dərc etdiyi diapazonlarla yoxlayın; server loglarında AI botlarını yoxlamaq barədə bələdçimizdə əmrlər var. İki nəticə tez-tez rast gəlinir:

Botları vəzifəsinə görə də ayırın. GPTBot və ClaudeBot kimi təlim botları sizi AI axtarışında istinad edilən edənlər deyil, buna görə problem onlardan biridirsə, onu qadağan etmək ağlabatan seçimdir. Bu bələdçinin qalan hissəsi saxlamaq istədiyiniz botlar üçündür.

Crawl-delay AI botları üçün işləyirmi?

Crawl-delay RFC 9309-un hissəsi deyil, buna görə onu oxuyub-oxumamağa hər operator özü qərar verir. 2026-cı ilin noyabrına sənədlərdə deyilənlər bunlardır:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Qrup məntiqinə diqqət edin. Öz adı ilə qrup tapan bot User-agent: * qrupunu tamamilə nəzərə almır, buna görə yalnız Crawl-delay olan ClaudeBot qrupu hamı üçün təyin etdiyiniz bütün Disallow qaydalarını atır. Onları yuxarıdakı kimi təkrarlayın. Bing Crawl-delay-i hər iki qrupdan oxuduğu istisna kimi təsvir edir, amma bunu digər botlar üçün güman etməməlisiniz.

429 və 503 cavabları botları necə yavaşladır?

Yük zirvələri üçün botların hörmət etmək üçün qurulduğu siqnal status kodudur. RFC 6585-də müəyyən edilmiş 429 Too Many Requests müştərinin müəyyən vaxtda həddən artıq sorğu göndərdiyini bildirir və nə qədər gözləməli olduğunu deyən Retry-After başlığı daşıya bilər. 503 Service Unavailable serverin hazırda öhdəsindən gələ bilmədiyini bildirir.

Google bunu Googlebot-un skan sürətini tez azaltmağın yolu kimi sənədləşdirir: bəzi skan sorğularına 200 əvəzinə 500, 503 və ya 429 qaytarın. Google bildirir ki, bu, bütün hostname üçün skan sürətini azaldır və Retry-After saniyə sayı və ya tarix saxlaya bilər.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Bunu qısa saxlayın. Google bunu bir-iki gündən çox etməməyi tövsiyə edir, çünki bir neçə gün bu kodları qaytaran URL indeksdən çıxarıla bilər. Uzunmüddətli azaltma üçün Google əvəzində Search Console vasitəsilə xüsusi sorğu təklif edir.

OpenAI, Anthropic və Perplexity botlarının 429, 503 və ya Retry-After-ə necə reaksiya verdiyini sənədləşdirmir. Kodlar daha az sorğu istəməyin standart yoludur, amma hər AI botunun nə qədər tez geri çəkildiyini heç yerdə oxuya bilməzsiniz.

AI botları üçün rate limit-i necə qurum?

Bütün trafik üçün bir limit əvəzinə hər bota öz limitini verin və onu aşan sorğulara 429 ilə cavab verin. nginx-də bunu limit_req modulu edir. Boş açarlı sorğular sayılmır, buna görə yalnız bot user agent-ləri üçün açar qaytaran map insan ziyarətçilərə toxunmur. Burada hər bot dəqiqədə 60 sorğu və 20 burst alır:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Burada açar user agent-dir, buna görə botun adını kopyalayan hər kəs həmin botun limitini bölüşür. Rate limit üçün bu qəbulediləndir. İcazə qaydası üçün isə təchizatçının dərc etdiyi IP diapazonlarını da uyğunlaşdırın.

Cloudflare-də rate limiting qaydaları eyni işi edge-də görür. Free planında 10 saniyə ərzində IP üzrə sayılan bir qayda alırsınız və qayda ifadəsində yoldan (path) və Verified Bot sahəsindən istifadə etmək olar. Sorğularını çoxlu ünvana paylayan botlar üçün IP üzrə saymaq kobud üsuldur, yüksək planlar isə daha çox sayma seçimi əlavə edir. Defolt cavab 429-dur və başqa 4xx kodu və öz body-nizi təyin edə bilərsiniz. AI Crawl Control hər bot üçün Allow, Block və qapalı betada Charge təklif edir, amma sürət ayarı yoxdur.

Nədən istifadə etməyinizdən asılı olmayaraq, /robots.txt-i limitdən kənarda saxlayın. RFC 9309-a görə robots.txt üçün server xətası botun bütün saytı qadağan olunmuş saymalı olduğu deməkdir, Google isə 429-u itkin fayl kimi qəbul etdiyi 4xx kodlarından çıxarır.

Keşləmə botların yükünü azalda bilərmi?

Çox vaxt rate limit-dən də çox. Botlar əsasən hər ziyarətçi üçün eyni olan açıq səhifələri istəyir, buna görə onları CDN-dən və ya səhifə keşindən vermək baha başa gələn render-ləri ucuz hit-lərə çevirir. Keşinizin bot user agent-ləri üçün ayrıca, keşlənməmiş variant saxlamadığını yoxlayın.

Şərti sorğular da kömək edir. Google bildirir ki, onun botları HTTP keşləməni ETag və If-None-Match, həmçinin Last-Modified və If-Modified-Since ilə dəstəkləyir və hər ikisi olanda ETag-dən istifadə edir. OpenAI, Anthropic və Perplexity bot səhifələri botlarının şərti sorğu göndərib-göndərmədiyini demir, buna görə bu qənaətə yalnız Google üçün arxalanın.

Botları yavaşladarkən nədən qaçmalıyam?

Botların hələ də keçdiyini necə yoxlayım?

Rate limit-ləri həddən artıq sərt qurmaq asandır. Pulsuz AISeeWhy yoxlaması səhifəni real brauzerlə yanaşı 16 AI və axtarış botu kimi yükləyir, robots.txt-inizi hər bot üçün tətbiq edir və firewall challenge səhifələrini tanıyır, beləliklə botlara brauzerlərdən fərqli cavab verən qayda üzə çıxır. Hər bot üçün bir sorğu ağlabatan limiti işə salmır və məqsəd də budur: normal sorğuların hələ də keçdiyini təsdiqləmək üçün qaydaları dəyişdikdən sonra onu işə salın. Pulsuz AI botlarının IP yoxlaması loglarınızdakı IP-nin həqiqətən GPTBot-a və ya başqa bota aid olub-olmadığını bildirir.

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

Google Crawl-delay-i dəstəkləyirmi?

Xeyr. Google-un robots.txt sənədi crawl-delay-i dəstəklənməyən sahələr arasında sadalayır. Googlebot-u qısa müddətə yavaşlatmaq üçün bəzi sorğulara 503, 500 və ya 429 qaytarın; daha uzun azaltma üçün Google Search Console vasitəsilə xüsusi sorğu təklif edir.

ClaudeBot Crawl-delay-ə əməl edirmi?

Anthropic qeyri-standart Crawl-delay genişlənməsini dəstəklədiyini bildirir. Onu ClaudeBot qrupuna qoyun və User-agent: * qrupunuzdakı bütün Disallow qaydalarını orada təkrarlayın.

GPTBot və PerplexityBot Crawl-delay-i dəstəkləyirmi?

OpenAI və Perplexity-nin bot səhifələri Crawl-delay-i xatırlatmır, buna görə onun təsiri sənədləşdirilməyib. Artıq sorğulara 429 ilə cavab verən server tərəfli limitdən istifadə edin.

429 cavabı sıralamama zərər verərmi?

Qısa müddətdə yox. Google 429 və 503-ü skanı müvəqqəti azaltmağın yolu kimi sənədləşdirir, amma xəbərdarlıq edir ki, onları bir neçə gün qaytaran URL-lər indeksdən çıxarıla bilər.

Yükü azaltmaq üçün GPTBot-u bloklamalıyammı?

Bloklaya bilərsiniz. OpenAI bildirir ki, GPTBot təlim üçün istifadə oluna bilən məzmunu skan edir və hər robots.txt ayarı müstəqildir, buna görə onu qadağan etmək sizi OAI-SearchBot-dan istifadə edən ChatGPT axtarışından çıxarmır. Yükün OpenAI ünvanlarından gəldiyinə əmin olmaq üçün əvvəlcə loglarınızı yoxlayın.

Mənbələr

Digər məqalələr