Ako spomaliť AI crawlery bez toho, aby ste ich zablokovali

Publikované

Krátka odpoveď

Namiesto blokovania obmedzte rýchlosť. Na nadmerné požiadavky crawlerov odpovedajte kódom 429 alebo 503 s hlavičkou Retry-After, dajte každému crawleru vlastný rozpočet, /robots.txt nezahŕňajte do žiadneho limitu a crawlerom posielajte stránky z cache. Crawl-delay v robots.txt pomôže len tam, kde ho prevádzkovateľ dokumentuje: Anthropic a Bing áno, Google uvádza, že ho nepodporuje, a OpenAI ani Perplexity ho nespomínajú. AI vyhľadávacie crawlery nechajte povolené, inak zmiznete aj z odpovedí, ktoré napĺňajú.

Keď crawler pošle tisíce požiadaviek za hodinu, rýchlym riešením je Disallow: / alebo blok vo firewalle. Pri trénovacom crawleri to môže byť rozumná voľba. Pri OAI-SearchBot, Claude-SearchBot alebo PerplexityBot to odstráni vaše stránky z odpovedí AI, v ktorých sa chcete objavovať. Väčšinou sa záťaž dá znížiť bez tejto straty, signálmi, ktorým crawlery už rozumejú: stavovými kódmi, cache a pri niektorých prevádzkovateľoch aj Crawl-delay.

Na tejto stránke
  1. Ktorý crawler záťaž naozaj spôsobuje?
  2. Funguje Crawl-delay pre AI crawlery?
  3. Ako odpovede 429 a 503 spomaľujú crawlery?
  4. Ako nastaviť limit požiadaviek pre AI crawlery?
  5. Môže cache znížiť záťaž od crawlerov?
  6. Čomu sa pri spomaľovaní crawlerov vyhnúť?
  7. Ako overiť, že crawlery stále prejdú?

Ktorý crawler záťaž naozaj spôsobuje?

Skôr než niečo zmeníte, pozrite sa. V prístupových logoch spočítajte požiadavky podľa user agenta a podľa hodiny a zdrojové IP overte podľa rozsahov, ktoré každý dodávateľ zverejňuje; príkazy nájdete v našom návode na hľadanie AI crawlerov v logoch servera. Často sa ukážu dve veci:

Crawlery si roztrieďte aj podľa úlohy. Trénovacie crawlery ako GPTBot a ClaudeBot nie sú tie, vďaka ktorým vás AI vyhľadávanie môže citovať, takže ak je problémom jeden z nich, jeho zákaz je rozumná možnosť. Zvyšok tohto návodu je pre crawlery, ktoré si chcete ponechať.

Funguje Crawl-delay pre AI crawlery?

Crawl-delay nie je súčasťou RFC 9309, takže každý prevádzkovateľ sa rozhoduje, či ho bude čítať. K novembru 2026 dokumentácia hovorí toto:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Dávajte pozor na logiku skupín. Crawler, ktorý nájde skupinu so svojím vlastným názvom, skupinu User-agent: * úplne ignoruje, takže skupina ClaudeBot, ktorá obsahuje len Crawl-delay, by zrušila všetky Disallow, ktoré ste nastavili pre ostatných. Zopakujte ich, ako vyššie. Bing opisuje Crawl-delay ako výnimku, ktorú číta z ktorejkoľvek skupiny, ale pri iných crawleroch to nepredpokladajte.

Ako odpovede 429 a 503 spomaľujú crawlery?

Pri špičkách záťaže je stavový kód signál, ktorý crawlery majú rešpektovať. 429 Too Many Requests, definovaný v RFC 6585, znamená, že klient poslal v danom čase príliš veľa požiadaviek, a môže niesť hlavičku Retry-After, ktorá hovorí, ako dlho čakať. 503 Service Unavailable hovorí, že server to práve nezvláda.

Google to dokumentuje ako spôsob, ako rýchlo znížiť rýchlosť prehľadávania Googlebotom: na časť požiadaviek vracajte namiesto 200 kód 500, 503 alebo 429. Uvádza, že to zníži rýchlosť prehľadávania pre celý názov hostiteľa a že Retry-After môže obsahovať počet sekúnd alebo dátum.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Nech to trvá krátko. Google neodporúča robiť to dlhšie ako jeden či dva dni, pretože URL, ktorá tieto kódy vracia niekoľko dní, môže vypadnúť z jeho indexu. Na trvalé zníženie Google namiesto toho ponúka špeciálnu žiadosť cez Search Console.

OpenAI, Anthropic ani Perplexity nedokumentujú, ako ich crawlery reagujú na 429, 503 alebo Retry-After. Tieto kódy sú štandardný spôsob, ako požiadať o menej, ale ako rýchlo ktorý AI crawler spomalí, sa nikde nedočítate.

Ako nastaviť limit požiadaviek pre AI crawlery?

Namiesto jedného limitu pre všetku prevádzku dajte každému crawleru vlastný rozpočet a na požiadavky nad ním odpovedajte kódom 429. V nginx to robí modul limit_req. Požiadavky s prázdnym kľúčom sa nepočítajú, takže map, ktorý vracia kľúč len pre user agentov crawlerov, ľudských návštevníkov nechá na pokoji. Tu dostane každý crawler 60 požiadaviek za minútu s burstom 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Kľúčom je tu user agent, takže ktokoľvek, kto skopíruje názov crawlera, zdieľa jeho rozpočet. Pre limit požiadaviek je to prijateľné. Pre povoľovacie pravidlo porovnávajte aj zverejnené rozsahy IP dodávateľa.

V Cloudflare robia tú istú prácu na okraji siete pravidlá rate limiting. V pláne Free dostanete jedno pravidlo, počítané podľa IP za 10 sekúnd, a výraz pravidla môže použiť cestu a pole Verified Bot. Počítanie podľa IP je hrubé pre crawlery, ktoré rozkladajú požiadavky na veľa adries, a vyššie plány pridávajú ďalšie možnosti počítania. Predvolená odpoveď je 429 a môžete nastaviť iný kód 4xx a vlastné telo. AI Crawl Control ponúka pre každý crawler Allow, Block a v súkromnej beta verzii Charge, ale žiadne nastavenie rýchlosti.

Nech použijete čokoľvek, /robots.txt do limitu nezahŕňajte. RFC 9309 hovorí, že pri chybe servera pre robots.txt musí crawler predpokladať, že celý web je zakázaný, a Google vynecháva 429 z kódov 4xx, ktoré považuje za chýbajúci súbor.

Môže cache znížiť záťaž od crawlerov?

Často viac ako limit požiadaviek. Crawlery väčšinou žiadajú verejné stránky, ktoré sú rovnaké pre každého návštevníka, takže ich obsluha z CDN alebo cache stránok mení drahé vykresľovanie na lacné zásahy. Skontrolujte, že vaša cache nedrží pre user agentov crawlerov samostatnú variantu, ktorá sa necacheuje.

Pomáhajú aj podmienené požiadavky. Google uvádza, že jeho crawlery podporujú cache HTTP s ETag a If-None-Match aj s Last-Modified a If-Modified-Since a keď sú prítomné oba, použijú ETag. Stránky o crawleroch OpenAI, Anthropic a Perplexity neuvádzajú, či ich crawlery posielajú podmienené požiadavky, takže s touto úsporou počítajte len pri Google.

Čomu sa pri spomaľovaní crawlerov vyhnúť?

Ako overiť, že crawlery stále prejdú?

Limity požiadaviek sa ľahko nastavia príliš prísne. Bezplatná kontrola AISeeWhy vyžiada stránku ako 16 AI a vyhľadávacích crawlerov vedľa skutočného prehliadača, pre každý crawler uplatní váš robots.txt a rozpozná overovacie stránky firewallu, takže pravidlo, ktoré crawlerom odpovedá inak ako prehliadačom, sa ukáže. Jedna požiadavka na crawler rozumný limit nespustí, a o to práve ide: spustite ju po zmene pravidiel a overte, že bežné požiadavky stále prechádzajú. Bezplatná kontrola IP AI crawlerov vám povie, či IP z vašich logov naozaj patrí GPTBot alebo inému crawleru.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Podporuje Google Crawl-delay?

Nie. Dokumentácia robots.txt od Google uvádza crawl-delay medzi poliami, ktoré nepodporuje. Ak chcete Googlebot krátkodobo spomaliť, na časť požiadaviek vracajte 503, 500 alebo 429; na dlhšie zníženie Google ponúka špeciálnu žiadosť cez Search Console.

Rešpektuje ClaudeBot Crawl-delay?

Anthropic uvádza, že podporuje neštandardné rozšírenie Crawl-delay. Dajte ho do skupiny ClaudeBot a zopakujte v nej všetky pravidlá Disallow zo skupiny User-agent: *.

Podporujú GPTBot a PerplexityBot Crawl-delay?

Stránky o crawleroch OpenAI a Perplexity Crawl-delay nespomínajú, takže jeho účinok nie je zdokumentovaný. Použite limit na strane servera, ktorý na nadmerné požiadavky odpovedá kódom 429.

Poškodí odpoveď 429 moje pozície vo vyhľadávaní?

Krátkodobo nie. Google dokumentuje 429 a 503 ako spôsob dočasného zníženia prehľadávania, ale upozorňuje, že URL, ktoré ich vracajú niekoľko dní, môžu vypadnúť z jeho indexu.

Mám zablokovať GPTBot, aby som znížil záťaž?

Môžete. OpenAI uvádza, že GPTBot prechádza obsah, ktorý sa môže použiť na trénovanie, a že každé nastavenie robots.txt je nezávislé, takže jeho zákaz vás neodstráni z vyhľadávania v ChatGPT, ktoré používa OAI-SearchBot. Najprv v logoch overte, že záťaž naozaj prichádza z adries OpenAI.

Zdroje

Ďalšie články