Cum încetinești crawlerele AI fără să le blochezi
Limitează rata în loc să blochezi. Răspunde la cererile în exces ale crawlerelor cu 429 sau 503 și un antet Retry-After, dă fiecărui crawler propriul buget, ține /robots.txt în afara oricărei limite și servește crawlerele din cache. Crawl-delay din robots.txt ajută doar acolo unde operatorul îl documentează: Anthropic și Bing îl documentează, Google spune că nu îl acceptă, iar OpenAI și Perplexity nu îl menționează. Lasă permise crawlerele de căutare AI, altfel ieși și din răspunsurile pe care le alimentează.
Când un crawler trimite mii de cereri pe oră, soluția rapidă este Disallow: / sau o blocare în firewall. Pentru un crawler de antrenare, poate fi o alegere corectă. Pentru OAI-SearchBot, Claude-SearchBot sau PerplexityBot, îți scoate paginile din răspunsurile AI în care vrei să apari. De cele mai multe ori, încărcarea poate fi redusă fără să renunți la asta, cu semnale pe care crawlerele le înțeleg deja: coduri de stare, cache și, la unii operatori, Crawl-delay.
Pe această pagină
- Ce crawler provoacă de fapt încărcarea?
- Funcționează Crawl-delay pentru crawlerele AI?
- Cum încetinesc răspunsurile 429 și 503 crawlerele?
- Cum setez o limită de rată pentru crawlerele AI?
- Poate cache-ul să reducă încărcarea din partea crawlerelor?
- Ce să eviți când încetinești crawlerele?
- Cum verific că crawlerele încă trec?
Ce crawler provoacă de fapt încărcarea?
Uită-te înainte să schimbi ceva. Numără cererile pe user agent și pe oră în logurile de acces și verifică IP-urile sursă cu intervalele publicate de fiecare furnizor; ghidul nostru despre verificarea crawlerelor AI în logurile serverului conține comenzile. Două constatări apar des:
- Traficul intens doar pretinde că este un crawler AI. Dacă IP-urile nu sunt în lista furnizorului, regulile pentru crawlerul real nu vor ajuta. Limitează sau blochează acel trafic după originea lui.
- Un crawler real e prins într-o capcană de accesare, precum pagini de calendar fără sfârșit, combinații de filtre sau ID-uri de sesiune în URL-uri. Închiderea capcanei cu reguli
Disallowpentru acele căi economisește mai mult decât orice limită de rată.
Sortează crawlerele și după rol. Crawlerele de antrenare precum GPTBot și ClaudeBot nu sunt cele care te fac citabil în căutarea AI, așa că, dacă unul dintre ele e problema, să-l interzici este o opțiune rezonabilă. Restul ghidului este pentru crawlerele pe care vrei să le păstrezi.
Funcționează Crawl-delay pentru crawlerele AI?
Crawl-delay nu face parte din RFC 9309, așa că fiecare operator decide dacă îl citește. Iată ce spune documentația în noiembrie 2026:
- Anthropic: acceptat. Pagina sa de ajutor spune că acceptă extensia nestandard
Crawl-delaypentru a limita activitatea de accesare, cuCrawl-delay: 1într-un grupClaudeBotca exemplu. - Microsoft Bing: acceptat. Blogul Bing pentru webmasteri descrie valoarea ca pe o fereastră de 1 până la 30 de secunde în care
bingbotaccesează cel mult o pagină și spune că un crawl delay din robots.txt are prioritate față de setările de accesare din Bing Webmaster Tools. - Google: neacceptat. Documentația Google despre robots.txt numește
crawl-delayca un câmp pe care nu îl acceptă. - OpenAI și Perplexity: paginile despre crawlerele lor nu îl menționează, așa că efectul asupra
GPTBot,OAI-SearchBotsauPerplexityBotnu este documentat.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Atenție la logica grupurilor. Un crawler care găsește un grup cu propriul nume ignoră complet grupul User-agent: *, așa că un grup ClaudeBot care conține doar Crawl-delay ar renunța la fiecare Disallow pe care l-ai setat pentru toți ceilalți. Repetă-le, ca mai sus. Bing descrie Crawl-delay ca pe o excepție pe care o citește din oricare grup, dar nu presupune asta pentru alte crawlere.
Cum încetinesc răspunsurile 429 și 503 crawlerele?
Pentru vârfurile de încărcare, codul de stare este semnalul pe care crawlerele sunt construite să-l respecte. 429 Too Many Requests, definit în RFC 6585, înseamnă că clientul a trimis prea multe cereri într-un anumit interval și poate avea un antet Retry-After care spune cât să aștepte. 503 Service Unavailable spune că serverul nu face față acum.
Google documentează asta ca modul de a reduce rapid rata de accesare a lui Googlebot: întoarce 500, 503 sau 429 în loc de 200 la o parte din cererile de accesare. Spune că asta scade rata de accesare pentru întregul hostname și că Retry-After poate conține un număr de secunde sau o dată.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Fă-o pe termen scurt. Google recomandă să nu faci asta mai mult de una sau două zile, pentru că un URL care întoarce aceste coduri timp de mai multe zile poate fi eliminat din index. Pentru o reducere de durată, Google oferă în schimb o cerere specială prin Search Console.
OpenAI, Anthropic și Perplexity nu documentează cum reacționează crawlerele lor la 429, 503 sau Retry-After. Codurile sunt modul standard de a cere mai puțin, dar cât de repede încetinește fiecare crawler AI nu este ceva ce poți căuta undeva.
Cum setez o limită de rată pentru crawlerele AI?
Dă fiecărui crawler propriul buget în loc de o singură limită pentru tot traficul și răspunde la cererile care îl depășesc cu 429. În nginx, modulul limit_req face asta. Cererile cu o cheie goală nu sunt numărate, așa că un map care întoarce o cheie doar pentru user agent-urile crawlerelor îi lasă în pace pe vizitatorii umani. Aici fiecare crawler primește 60 de cereri pe minut, cu un burst de 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Cheia aici este user agent-ul, așa că oricine copiază numele unui crawler împarte bugetul acelui crawler. Pentru o limită de rată, e acceptabil. Pentru o regulă de permitere, potrivește și intervalele IP publicate de furnizor.
Pe Cloudflare, regulile de rate limiting fac aceeași treabă la edge. Pe planul Free ai o regulă, numărată pe IP pe 10 secunde, iar expresia regulii poate folosi calea și câmpul Verified Bot. Numărarea pe IP este grosieră pentru crawlerele care își împart cererile pe multe adrese, iar planurile superioare adaugă mai multe opțiuni de numărare. Răspunsul implicit este 429, iar tu poți seta alt cod 4xx și un conținut personalizat. AI Crawl Control oferă Allow, Block și, într-o versiune beta privată, Charge pentru fiecare crawler, dar nicio setare de rată.
Orice ai folosi, ține /robots.txt în afara limitei. RFC 9309 spune că o eroare de server pentru robots.txt înseamnă că crawlerul trebuie să presupună că întregul site este interzis, iar Google exclude 429 din codurile 4xx pe care le tratează ca fișier lipsă.
Poate cache-ul să reducă încărcarea din partea crawlerelor?
Adesea mai mult decât o limită de rată. Crawlerele cer mai ales pagini publice, identice pentru fiecare vizitator, așa că servirea lor dintr-un CDN sau dintr-un cache de pagini transformă randările costisitoare în accesări ieftine din cache. Verifică dacă cache-ul nu păstrează o variantă separată, necache-uită, pentru user agent-urile crawlerelor.
Ajută și cererile condiționate. Google spune că crawlerele sale acceptă cache HTTP cu ETag și If-None-Match, precum și cu Last-Modified și If-Modified-Since, și folosesc ETag când sunt prezente ambele. Paginile despre crawlere ale OpenAI, Anthropic și Perplexity nu spun dacă acestea trimit cereri condiționate, așa că bazează-te pe această economie doar pentru Google.
Ce să eviți când încetinești crawlerele?
- Blocarea intervalelor IP ale unui furnizor în firewall. Anthropic avertizează că s-ar putea să nu funcționeze corect sau să nu mențină o renunțare în vigoare, pentru că le împiedică boților săi citirea robots.txt.
- Servirea de
5xxsau429zile la rând. Google spune că URL-urile care continuă să le întoarcă pot fi eliminate din index. - Folosirea protecției anti-bot ca frână. Bot Fight Mode de la Cloudflare dă boților verificări costisitoare din punct de vedere computațional și nu poate fi sărit cu reguli personalizate WAF, așa că nu poți excepta crawlerele pe care vrei să le păstrezi.
- Interzicerea unui crawler de căutare ca să economisești lățime de bandă. Un
DisallowpentruOAI-SearchBot,Claude-SearchBotsauPerplexityBotte scoate din răspunsurile pe care le alimentează acele crawlere.
Cum verific că crawlerele încă trec?
Limitele de rată se setează ușor prea strâns. Verificarea gratuită AISeeWhy descarcă o pagină ca 16 crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare crawler și recunoaște paginile de verificare ale firewall-ului, așa că o regulă care răspunde crawlerelor altfel decât browserelor iese la iveală. O cerere pe crawler nu declanșează o limită rezonabilă, și exact asta e ideea: rulează verificarea după ce schimbi regulile, ca să confirmi că cererile normale încă trec. Verificarea gratuită a IP-urilor crawlerelor AI îți spune dacă un IP din loguri aparține cu adevărat lui GPTBot sau altui crawler.
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Verificare IP pentru crawlere AI
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Acceptă Google Crawl-delay?
Nu. Documentația Google despre robots.txt enumeră crawl-delay printre câmpurile pe care nu le acceptă. Ca să încetinești Googlebot pentru scurt timp, întoarce 503, 500 sau 429 la o parte din cereri; pentru o reducere mai lungă, Google oferă o cerere specială prin Search Console.
Respectă ClaudeBot Crawl-delay?
Anthropic spune că acceptă extensia nestandard Crawl-delay. Pune-o într-un grup ClaudeBot și repetă acolo toate regulile Disallow din grupul User-agent: *.
Acceptă GPTBot și PerplexityBot Crawl-delay?
Paginile despre crawlere ale OpenAI și Perplexity nu menționează Crawl-delay, așa că efectul nu este documentat. Folosește o limită pe server care răspunde la cererile în exces cu 429.
Îmi afectează un răspuns 429 clasarea?
Nu pe o perioadă scurtă. Google documentează 429 și 503 ca mod de a reduce temporar accesarea, dar avertizează că URL-urile care le întorc timp de mai multe zile pot fi eliminate din index.
Ar trebui să blochez GPTBot ca să reduc încărcarea?
Poți. OpenAI spune că GPTBot accesează conținut care poate fi folosit pentru antrenare și că fiecare setare din robots.txt este independentă, așa că interzicerea lui nu te scoate din căutarea ChatGPT, care folosește OAI-SearchBot. Verifică mai întâi în loguri dacă încărcarea vine de la adresele OpenAI.
Surse
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (cache HTTP)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers