Cum încetinești crawlerele AI fără să le blochezi

Publicat

Răspuns scurt

Limitează rata în loc să blochezi. Răspunde la cererile în exces ale crawlerelor cu 429 sau 503 și un antet Retry-After, dă fiecărui crawler propriul buget, ține /robots.txt în afara oricărei limite și servește crawlerele din cache. Crawl-delay din robots.txt ajută doar acolo unde operatorul îl documentează: Anthropic și Bing îl documentează, Google spune că nu îl acceptă, iar OpenAI și Perplexity nu îl menționează. Lasă permise crawlerele de căutare AI, altfel ieși și din răspunsurile pe care le alimentează.

Când un crawler trimite mii de cereri pe oră, soluția rapidă este Disallow: / sau o blocare în firewall. Pentru un crawler de antrenare, poate fi o alegere corectă. Pentru OAI-SearchBot, Claude-SearchBot sau PerplexityBot, îți scoate paginile din răspunsurile AI în care vrei să apari. De cele mai multe ori, încărcarea poate fi redusă fără să renunți la asta, cu semnale pe care crawlerele le înțeleg deja: coduri de stare, cache și, la unii operatori, Crawl-delay.

Pe această pagină
  1. Ce crawler provoacă de fapt încărcarea?
  2. Funcționează Crawl-delay pentru crawlerele AI?
  3. Cum încetinesc răspunsurile 429 și 503 crawlerele?
  4. Cum setez o limită de rată pentru crawlerele AI?
  5. Poate cache-ul să reducă încărcarea din partea crawlerelor?
  6. Ce să eviți când încetinești crawlerele?
  7. Cum verific că crawlerele încă trec?

Ce crawler provoacă de fapt încărcarea?

Uită-te înainte să schimbi ceva. Numără cererile pe user agent și pe oră în logurile de acces și verifică IP-urile sursă cu intervalele publicate de fiecare furnizor; ghidul nostru despre verificarea crawlerelor AI în logurile serverului conține comenzile. Două constatări apar des:

Sortează crawlerele și după rol. Crawlerele de antrenare precum GPTBot și ClaudeBot nu sunt cele care te fac citabil în căutarea AI, așa că, dacă unul dintre ele e problema, să-l interzici este o opțiune rezonabilă. Restul ghidului este pentru crawlerele pe care vrei să le păstrezi.

Funcționează Crawl-delay pentru crawlerele AI?

Crawl-delay nu face parte din RFC 9309, așa că fiecare operator decide dacă îl citește. Iată ce spune documentația în noiembrie 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Atenție la logica grupurilor. Un crawler care găsește un grup cu propriul nume ignoră complet grupul User-agent: *, așa că un grup ClaudeBot care conține doar Crawl-delay ar renunța la fiecare Disallow pe care l-ai setat pentru toți ceilalți. Repetă-le, ca mai sus. Bing descrie Crawl-delay ca pe o excepție pe care o citește din oricare grup, dar nu presupune asta pentru alte crawlere.

Cum încetinesc răspunsurile 429 și 503 crawlerele?

Pentru vârfurile de încărcare, codul de stare este semnalul pe care crawlerele sunt construite să-l respecte. 429 Too Many Requests, definit în RFC 6585, înseamnă că clientul a trimis prea multe cereri într-un anumit interval și poate avea un antet Retry-After care spune cât să aștepte. 503 Service Unavailable spune că serverul nu face față acum.

Google documentează asta ca modul de a reduce rapid rata de accesare a lui Googlebot: întoarce 500, 503 sau 429 în loc de 200 la o parte din cererile de accesare. Spune că asta scade rata de accesare pentru întregul hostname și că Retry-After poate conține un număr de secunde sau o dată.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Fă-o pe termen scurt. Google recomandă să nu faci asta mai mult de una sau două zile, pentru că un URL care întoarce aceste coduri timp de mai multe zile poate fi eliminat din index. Pentru o reducere de durată, Google oferă în schimb o cerere specială prin Search Console.

OpenAI, Anthropic și Perplexity nu documentează cum reacționează crawlerele lor la 429, 503 sau Retry-After. Codurile sunt modul standard de a cere mai puțin, dar cât de repede încetinește fiecare crawler AI nu este ceva ce poți căuta undeva.

Cum setez o limită de rată pentru crawlerele AI?

Dă fiecărui crawler propriul buget în loc de o singură limită pentru tot traficul și răspunde la cererile care îl depășesc cu 429. În nginx, modulul limit_req face asta. Cererile cu o cheie goală nu sunt numărate, așa că un map care întoarce o cheie doar pentru user agent-urile crawlerelor îi lasă în pace pe vizitatorii umani. Aici fiecare crawler primește 60 de cereri pe minut, cu un burst de 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Cheia aici este user agent-ul, așa că oricine copiază numele unui crawler împarte bugetul acelui crawler. Pentru o limită de rată, e acceptabil. Pentru o regulă de permitere, potrivește și intervalele IP publicate de furnizor.

Pe Cloudflare, regulile de rate limiting fac aceeași treabă la edge. Pe planul Free ai o regulă, numărată pe IP pe 10 secunde, iar expresia regulii poate folosi calea și câmpul Verified Bot. Numărarea pe IP este grosieră pentru crawlerele care își împart cererile pe multe adrese, iar planurile superioare adaugă mai multe opțiuni de numărare. Răspunsul implicit este 429, iar tu poți seta alt cod 4xx și un conținut personalizat. AI Crawl Control oferă Allow, Block și, într-o versiune beta privată, Charge pentru fiecare crawler, dar nicio setare de rată.

Orice ai folosi, ține /robots.txt în afara limitei. RFC 9309 spune că o eroare de server pentru robots.txt înseamnă că crawlerul trebuie să presupună că întregul site este interzis, iar Google exclude 429 din codurile 4xx pe care le tratează ca fișier lipsă.

Poate cache-ul să reducă încărcarea din partea crawlerelor?

Adesea mai mult decât o limită de rată. Crawlerele cer mai ales pagini publice, identice pentru fiecare vizitator, așa că servirea lor dintr-un CDN sau dintr-un cache de pagini transformă randările costisitoare în accesări ieftine din cache. Verifică dacă cache-ul nu păstrează o variantă separată, necache-uită, pentru user agent-urile crawlerelor.

Ajută și cererile condiționate. Google spune că crawlerele sale acceptă cache HTTP cu ETag și If-None-Match, precum și cu Last-Modified și If-Modified-Since, și folosesc ETag când sunt prezente ambele. Paginile despre crawlere ale OpenAI, Anthropic și Perplexity nu spun dacă acestea trimit cereri condiționate, așa că bazează-te pe această economie doar pentru Google.

Ce să eviți când încetinești crawlerele?

Cum verific că crawlerele încă trec?

Limitele de rată se setează ușor prea strâns. Verificarea gratuită AISeeWhy descarcă o pagină ca 16 crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare crawler și recunoaște paginile de verificare ale firewall-ului, așa că o regulă care răspunde crawlerelor altfel decât browserelor iese la iveală. O cerere pe crawler nu declanșează o limită rezonabilă, și exact asta e ideea: rulează verificarea după ce schimbi regulile, ca să confirmi că cererile normale încă trec. Verificarea gratuită a IP-urilor crawlerelor AI îți spune dacă un IP din loguri aparține cu adevărat lui GPTBot sau altui crawler.

Instrumente gratuite

Pașii următori

Crawlere din acest articol

Întrebări frecvente

Acceptă Google Crawl-delay?

Nu. Documentația Google despre robots.txt enumeră crawl-delay printre câmpurile pe care nu le acceptă. Ca să încetinești Googlebot pentru scurt timp, întoarce 503, 500 sau 429 la o parte din cereri; pentru o reducere mai lungă, Google oferă o cerere specială prin Search Console.

Respectă ClaudeBot Crawl-delay?

Anthropic spune că acceptă extensia nestandard Crawl-delay. Pune-o într-un grup ClaudeBot și repetă acolo toate regulile Disallow din grupul User-agent: *.

Acceptă GPTBot și PerplexityBot Crawl-delay?

Paginile despre crawlere ale OpenAI și Perplexity nu menționează Crawl-delay, așa că efectul nu este documentat. Folosește o limită pe server care răspunde la cererile în exces cu 429.

Îmi afectează un răspuns 429 clasarea?

Nu pe o perioadă scurtă. Google documentează 429 și 503 ca mod de a reduce temporar accesarea, dar avertizează că URL-urile care le întorc timp de mai multe zile pot fi eliminate din index.

Ar trebui să blochez GPTBot ca să reduc încărcarea?

Poți. OpenAI spune că GPTBot accesează conținut care poate fi folosit pentru antrenare și că fiecare setare din robots.txt este independentă, așa că interzicerea lui nu te scoate din căutarea ChatGPT, care folosește OAI-SearchBot. Verifică mai întâi în loguri dacă încărcarea vine de la adresele OpenAI.

Surse

Alte articole