Ako spomaliť AI crawlery bez toho, aby ste ich zablokovali
Namiesto blokovania obmedzte rýchlosť. Na nadmerné požiadavky crawlerov odpovedajte kódom 429 alebo 503 s hlavičkou Retry-After, dajte každému crawleru vlastný rozpočet, /robots.txt nezahŕňajte do žiadneho limitu a crawlerom posielajte stránky z cache. Crawl-delay v robots.txt pomôže len tam, kde ho prevádzkovateľ dokumentuje: Anthropic a Bing áno, Google uvádza, že ho nepodporuje, a OpenAI ani Perplexity ho nespomínajú. AI vyhľadávacie crawlery nechajte povolené, inak zmiznete aj z odpovedí, ktoré napĺňajú.
Keď crawler pošle tisíce požiadaviek za hodinu, rýchlym riešením je Disallow: / alebo blok vo firewalle. Pri trénovacom crawleri to môže byť rozumná voľba. Pri OAI-SearchBot, Claude-SearchBot alebo PerplexityBot to odstráni vaše stránky z odpovedí AI, v ktorých sa chcete objavovať. Väčšinou sa záťaž dá znížiť bez tejto straty, signálmi, ktorým crawlery už rozumejú: stavovými kódmi, cache a pri niektorých prevádzkovateľoch aj Crawl-delay.
Na tejto stránke
Ktorý crawler záťaž naozaj spôsobuje?
Skôr než niečo zmeníte, pozrite sa. V prístupových logoch spočítajte požiadavky podľa user agenta a podľa hodiny a zdrojové IP overte podľa rozsahov, ktoré každý dodávateľ zverejňuje; príkazy nájdete v našom návode na hľadanie AI crawlerov v logoch servera. Často sa ukážu dve veci:
- Silná prevádzka sa za AI crawler len vydáva. Ak IP nie sú v zozname dodávateľa, pravidlá pre skutočný crawler nepomôžu. Takúto prevádzku obmedzte alebo zablokujte podľa jej pôvodu.
- Skutočný crawler uviazol v pasci, napríklad v nekonečných stránkach kalendára, kombináciách filtrov alebo ID relácií v URL. Uzavretie pasce pravidlami
Disallowpre tieto cesty ušetrí viac ako akýkoľvek limit požiadaviek.
Crawlery si roztrieďte aj podľa úlohy. Trénovacie crawlery ako GPTBot a ClaudeBot nie sú tie, vďaka ktorým vás AI vyhľadávanie môže citovať, takže ak je problémom jeden z nich, jeho zákaz je rozumná možnosť. Zvyšok tohto návodu je pre crawlery, ktoré si chcete ponechať.
Funguje Crawl-delay pre AI crawlery?
Crawl-delay nie je súčasťou RFC 9309, takže každý prevádzkovateľ sa rozhoduje, či ho bude čítať. K novembru 2026 dokumentácia hovorí toto:
- Anthropic: podporuje. Jeho stránka pomoci uvádza, že podporuje neštandardné rozšírenie
Crawl-delayna obmedzenie prehľadávania, sCrawl-delay: 1v skupineClaudeBotako príkladom. - Microsoft Bing: podporuje. Blog Bing pre webmasterov opisuje hodnotu ako časové okno 1 až 30 sekúnd, v ktorom
bingbotprehľadá najviac jednu stránku, a uvádza, že oneskorenie v robots.txt má prednosť pred nastaveniami prehľadávania v Bing Webmaster Tools. - Google: nepodporuje. Dokumentácia robots.txt od Google uvádza
crawl-delayako pole, ktoré nepodporuje. - OpenAI a Perplexity: ich stránky o crawleroch ho nespomínajú, takže jeho účinok na
GPTBot,OAI-SearchBotaleboPerplexityBotnie je zdokumentovaný.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Dávajte pozor na logiku skupín. Crawler, ktorý nájde skupinu so svojím vlastným názvom, skupinu User-agent: * úplne ignoruje, takže skupina ClaudeBot, ktorá obsahuje len Crawl-delay, by zrušila všetky Disallow, ktoré ste nastavili pre ostatných. Zopakujte ich, ako vyššie. Bing opisuje Crawl-delay ako výnimku, ktorú číta z ktorejkoľvek skupiny, ale pri iných crawleroch to nepredpokladajte.
Ako odpovede 429 a 503 spomaľujú crawlery?
Pri špičkách záťaže je stavový kód signál, ktorý crawlery majú rešpektovať. 429 Too Many Requests, definovaný v RFC 6585, znamená, že klient poslal v danom čase príliš veľa požiadaviek, a môže niesť hlavičku Retry-After, ktorá hovorí, ako dlho čakať. 503 Service Unavailable hovorí, že server to práve nezvláda.
Google to dokumentuje ako spôsob, ako rýchlo znížiť rýchlosť prehľadávania Googlebotom: na časť požiadaviek vracajte namiesto 200 kód 500, 503 alebo 429. Uvádza, že to zníži rýchlosť prehľadávania pre celý názov hostiteľa a že Retry-After môže obsahovať počet sekúnd alebo dátum.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Nech to trvá krátko. Google neodporúča robiť to dlhšie ako jeden či dva dni, pretože URL, ktorá tieto kódy vracia niekoľko dní, môže vypadnúť z jeho indexu. Na trvalé zníženie Google namiesto toho ponúka špeciálnu žiadosť cez Search Console.
OpenAI, Anthropic ani Perplexity nedokumentujú, ako ich crawlery reagujú na 429, 503 alebo Retry-After. Tieto kódy sú štandardný spôsob, ako požiadať o menej, ale ako rýchlo ktorý AI crawler spomalí, sa nikde nedočítate.
Ako nastaviť limit požiadaviek pre AI crawlery?
Namiesto jedného limitu pre všetku prevádzku dajte každému crawleru vlastný rozpočet a na požiadavky nad ním odpovedajte kódom 429. V nginx to robí modul limit_req. Požiadavky s prázdnym kľúčom sa nepočítajú, takže map, ktorý vracia kľúč len pre user agentov crawlerov, ľudských návštevníkov nechá na pokoji. Tu dostane každý crawler 60 požiadaviek za minútu s burstom 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Kľúčom je tu user agent, takže ktokoľvek, kto skopíruje názov crawlera, zdieľa jeho rozpočet. Pre limit požiadaviek je to prijateľné. Pre povoľovacie pravidlo porovnávajte aj zverejnené rozsahy IP dodávateľa.
V Cloudflare robia tú istú prácu na okraji siete pravidlá rate limiting. V pláne Free dostanete jedno pravidlo, počítané podľa IP za 10 sekúnd, a výraz pravidla môže použiť cestu a pole Verified Bot. Počítanie podľa IP je hrubé pre crawlery, ktoré rozkladajú požiadavky na veľa adries, a vyššie plány pridávajú ďalšie možnosti počítania. Predvolená odpoveď je 429 a môžete nastaviť iný kód 4xx a vlastné telo. AI Crawl Control ponúka pre každý crawler Allow, Block a v súkromnej beta verzii Charge, ale žiadne nastavenie rýchlosti.
Nech použijete čokoľvek, /robots.txt do limitu nezahŕňajte. RFC 9309 hovorí, že pri chybe servera pre robots.txt musí crawler predpokladať, že celý web je zakázaný, a Google vynecháva 429 z kódov 4xx, ktoré považuje za chýbajúci súbor.
Môže cache znížiť záťaž od crawlerov?
Často viac ako limit požiadaviek. Crawlery väčšinou žiadajú verejné stránky, ktoré sú rovnaké pre každého návštevníka, takže ich obsluha z CDN alebo cache stránok mení drahé vykresľovanie na lacné zásahy. Skontrolujte, že vaša cache nedrží pre user agentov crawlerov samostatnú variantu, ktorá sa necacheuje.
Pomáhajú aj podmienené požiadavky. Google uvádza, že jeho crawlery podporujú cache HTTP s ETag a If-None-Match aj s Last-Modified a If-Modified-Since a keď sú prítomné oba, použijú ETag. Stránky o crawleroch OpenAI, Anthropic a Perplexity neuvádzajú, či ich crawlery posielajú podmienené požiadavky, takže s touto úsporou počítajte len pri Google.
Čomu sa pri spomaľovaní crawlerov vyhnúť?
- Blokovaniu rozsahov IP dodávateľa vo firewalle. Anthropic upozorňuje, že to nemusí fungovať správne ani udržať odmietnutie v platnosti, pretože jeho botom to znemožní čítať váš robots.txt.
- Odpovediam
5xxalebo429celé dni. Google uvádza, že URL, ktoré ich vracajú dlhodobo, môžu vypadnúť z jeho indexu. - Používaniu ochrany proti botom ako brzdy. Bot Fight Mode od Cloudflare dáva botom výpočtovo náročné overenia a nedá sa preskočiť vlastnými pravidlami WAF, takže crawlery, ktoré chcete ponechať, nemôžete vyňať.
- Zakázaniu vyhľadávacieho crawlera kvôli úspore prenosu.
DisallowpreOAI-SearchBot,Claude-SearchBotaleboPerplexityBotvás vyradí z odpovedí, ktoré tieto crawlery napĺňajú.
Ako overiť, že crawlery stále prejdú?
Limity požiadaviek sa ľahko nastavia príliš prísne. Bezplatná kontrola AISeeWhy vyžiada stránku ako 16 AI a vyhľadávacích crawlerov vedľa skutočného prehliadača, pre každý crawler uplatní váš robots.txt a rozpozná overovacie stránky firewallu, takže pravidlo, ktoré crawlerom odpovedá inak ako prehliadačom, sa ukáže. Jedna požiadavka na crawler rozumný limit nespustí, a o to práve ide: spustite ju po zmene pravidiel a overte, že bežné požiadavky stále prechádzajú. Bezplatná kontrola IP AI crawlerov vám povie, či IP z vašich logov naozaj patrí GPTBot alebo inému crawleru.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Podporuje Google Crawl-delay?
Nie. Dokumentácia robots.txt od Google uvádza crawl-delay medzi poliami, ktoré nepodporuje. Ak chcete Googlebot krátkodobo spomaliť, na časť požiadaviek vracajte 503, 500 alebo 429; na dlhšie zníženie Google ponúka špeciálnu žiadosť cez Search Console.
Rešpektuje ClaudeBot Crawl-delay?
Anthropic uvádza, že podporuje neštandardné rozšírenie Crawl-delay. Dajte ho do skupiny ClaudeBot a zopakujte v nej všetky pravidlá Disallow zo skupiny User-agent: *.
Podporujú GPTBot a PerplexityBot Crawl-delay?
Stránky o crawleroch OpenAI a Perplexity Crawl-delay nespomínajú, takže jeho účinok nie je zdokumentovaný. Použite limit na strane servera, ktorý na nadmerné požiadavky odpovedá kódom 429.
Poškodí odpoveď 429 moje pozície vo vyhľadávaní?
Krátkodobo nie. Google dokumentuje 429 a 503 ako spôsob dočasného zníženia prehľadávania, ale upozorňuje, že URL, ktoré ich vracajú niekoľko dní, môžu vypadnúť z jeho indexu.
Mám zablokovať GPTBot, aby som znížil záťaž?
Môžete. OpenAI uvádza, že GPTBot prechádza obsah, ktorý sa môže použiť na trénovanie, a že každé nastavenie robots.txt je nezávislé, takže jeho zákaz vás neodstráni z vyhľadávania v ChatGPT, ktoré používa OAI-SearchBot. Najprv v logoch overte, že záťaž naozaj prichádza z adries OpenAI.
Zdroje
- Anthropic: Prechádza Anthropic dáta z webu a ako môžu majitelia webov crawler zablokovať?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: Ako Google interpretuje špecifikáciu robots.txt
- Google: Zníženie rýchlosti prehľadávania Googlebotom
- Google: Prehľad crawlerov a fetcherov Google (cache HTTP)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Pravidlá rate limiting
- Cloudflare: Parametre rate limiting
- Cloudflare: Správa AI crawlerov (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Prehľad crawlerov OpenAI
- Perplexity: crawlery Perplexity