Jak zpomalit AI crawlery, aniž byste je blokovali
Omezujte rychlost místo blokování. Na nadbytečné požadavky crawlerů odpovídejte 429 nebo 503 s hlavičkou Retry-After, dejte každému crawleru vlastní rozpočet, /robots.txt vyjměte ze všech limitů a crawlerům servírujte stránky z cache. Crawl-delay v robots.txt pomáhá jen tam, kde ho provozovatel dokumentuje: Anthropic a Bing ano, Google uvádí, že ho nepodporuje, a OpenAI ani Perplexity ho nezmiňují. Vyhledávací AI crawlery nechte povolené, jinak zmizíte i z odpovědí, které zásobují.
Když crawler pošle tisíce požadavků za hodinu, rychlou opravou je Disallow: / nebo blokace ve firewallu. U tréninkového crawleru to může být rozumná volba. U OAI-SearchBot, Claude-SearchBot nebo PerplexityBot to vaše stránky odstraní z odpovědí AI, ve kterých se chcete objevovat. Většinou se zátěž dá snížit, aniž byste se toho vzdali, pomocí signálů, kterým crawlery už rozumějí: stavových kódů, cache a u některých provozovatelů Crawl-delay.
Na této stránce
Který crawler zátěž skutečně způsobuje?
Než cokoli změníte, podívejte se. V přístupových logech spočítejte požadavky podle user agenta a podle hodin a zdrojové IP porovnejte s rozsahy, které každý dodavatel zveřejňuje; příkazy najdete v našem návodu ke kontrole logů serveru na AI crawlery. Často se objeví dvě zjištění:
- Silný provoz se za AI crawler jen vydává. Pokud IP nejsou v seznamu dodavatele, pravidla pro skutečný crawler nepomohou. Takový provoz místo toho omezte nebo zablokujte podle jeho původu.
- Skutečný crawler uvízl v pasti, například v nekonečných stránkách kalendáře, kombinacích filtrů nebo ID relací v URL. Uzavření pasti pravidly
Disallowpro tyto cesty ušetří víc než jakýkoli limit.
Crawlery také roztřiďte podle úlohy. Tréninkové crawlery jako GPTBot a ClaudeBot nejsou ty, díky kterým vás vyhledávání s AI může citovat, takže pokud je problémem jeden z nich, je jeho zákaz rozumnou možností. Zbytek tohoto návodu je pro crawlery, které si chcete ponechat.
Funguje Crawl-delay pro AI crawlery?
Crawl-delay není součástí RFC 9309, takže každý provozovatel rozhoduje, zda ho bude číst. Dokumentace k listopadu 2026 uvádí:
- Anthropic: podporuje. Jeho stránka nápovědy uvádí, že podporuje nestandardní rozšíření
Crawl-delayk omezení aktivity procházení, sCrawl-delay: 1ve skupiněClaudeBotjako příkladem. - Microsoft Bing: podporuje. Blog Bing pro webmastery popisuje hodnotu jako časové okno 1 až 30 sekund, ve kterém
bingbotprojde nejvýš jednu stránku, a uvádí, že zpoždění procházení v robots.txt má přednost před nastavením procházení v Bing Webmaster Tools. - Google: nepodporuje. Dokumentace Googlu k robots.txt uvádí
crawl-delayjako pole, které nepodporuje. - OpenAI a Perplexity: jejich stránky o crawlerech ho nezmiňují, takže jeho účinek na
GPTBot,OAI-SearchBotneboPerplexityBotnení zdokumentovaný.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Pozor na logiku skupin. Crawler, který najde skupinu se svým názvem, skupinu User-agent: * zcela ignoruje, takže skupina ClaudeBot, která obsahuje jen Crawl-delay, by zahodila každé Disallow, které jste nastavili pro všechny ostatní. Zopakujte je jako výše. Bing popisuje Crawl-delay jako výjimku, kterou čte z kterékoli z obou skupin, ale u jiných crawlerů to předpokládat nemůžete.
Jak odpovědi 429 a 503 crawlery zpomalí?
Při špičkách zátěže je stavový kód signálem, který mají crawlery respektovat. 429 Too Many Requests, definovaný v RFC 6585, znamená, že klient poslal v daném čase příliš mnoho požadavků, a může nést hlavičku Retry-After, která říká, jak dlouho čekat. 503 Service Unavailable říká, že server momentálně nezvládá.
Google to dokumentuje jako způsob, jak rychle snížit rychlost procházení Googlebota: na část požadavků vracet 500, 503 nebo 429 místo 200. Uvádí, že to sníží rychlost procházení pro celý název hostitele a že Retry-After může obsahovat počet sekund nebo datum.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Dělejte to krátce. Google nedoporučuje to dělat déle než jeden až dva dny, protože URL, která tyto kódy vrací několik dní, může vypadnout z indexu. Pro trvalé snížení nabízí Google místo toho zvláštní žádost přes Search Console.
OpenAI, Anthropic ani Perplexity nedokumentují, jak jejich crawlery reagují na 429, 503 nebo Retry-After. Kódy jsou standardní způsob, jak požádat o méně, ale jak rychle který AI crawler ubere, se nikde nedočtete.
Jak nastavit limit požadavků pro AI crawlery?
Dejte každému crawleru vlastní rozpočet místo jednoho limitu pro veškerý provoz a požadavky nad ním odmítejte kódem 429. V nginx to dělá modul limit_req. Požadavky s prázdným klíčem se nepočítají, takže map, který vrací klíč jen pro user agenty crawlerů, nechá lidské návštěvníky na pokoji. Zde dostane každý crawler 60 požadavků za minutu s nárazem 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} Klíčem je tu user agent, takže kdokoli zkopíruje název crawleru, sdílí jeho rozpočet. Pro limit požadavků je to přijatelné. Pro povolující pravidlo porovnávejte i zveřejněné rozsahy IP dodavatele.
V Cloudflare dělají stejnou práci na okraji sítě pravidla rate limiting. V plánu Free dostanete jedno pravidlo, počítané podle IP za 10 sekund, a výraz pravidla může používat cestu a pole Verified Bot. Počítání podle IP je hrubé u crawlerů, které rozkládají požadavky na mnoho adres, a vyšší plány přidávají další možnosti počítání. Výchozí odpověď je 429 a můžete nastavit jiný kód 4xx a vlastní tělo odpovědi. AI Crawl Control nabízí pro každý crawler Allow, Block a v soukromé betě Charge, ale žádné nastavení rychlosti.
Ať použijete cokoli, /robots.txt z limitu vyjměte. RFC 9309 uvádí, že chyba serveru u robots.txt znamená, že crawler musí celý web považovat za zakázaný, a Google 429 nepočítá mezi kódy 4xx, které bere jako chybějící soubor.
Může cache snížit zátěž od crawlerů?
Často víc než limit požadavků. Crawlery většinou žádají veřejné stránky, které jsou pro každého návštěvníka stejné, takže jejich servírování z CDN nebo cache stránek promění drahé vykreslování v levné zásahy cache. Ověřte, že vaše cache nedrží pro user agenty crawlerů samostatnou variantu mimo cache.
Pomáhají i podmíněné požadavky. Google uvádí, že jeho crawlery podporují HTTP cache s ETag a If-None-Match a s Last-Modified a If-Modified-Since a že když jsou přítomné oba, použijí ETag. Stránky o crawlerech OpenAI, Anthropic a Perplexity neuvádějí, zda jejich crawlery posílají podmíněné požadavky, takže s touto úsporou počítejte jen u Googlu.
Čemu se při zpomalování crawlerů vyhnout?
- Blokování rozsahů IP dodavatele ve firewallu. Anthropic varuje, že to nemusí fungovat správně ani udržet odmítnutí v platnosti, protože to jeho botům brání číst váš robots.txt.
- Vracení
5xxnebo429celé dny. Google uvádí, že URL, které je vracejí dlouhodobě, mohou vypadnout z jeho indexu. - Používání ochrany proti botům jako brzdy. Bot Fight Mode od Cloudflare dává botům výpočetně náročné výzvy a nelze ho přeskočit vlastními pravidly WAF, takže crawlery, které si chcete ponechat, z něj nevyjmete.
- Zakázání vyhledávacího crawleru kvůli úspoře přenosu dat.
DisallowproOAI-SearchBot,Claude-SearchBotneboPerplexityBotvás vyřadí z odpovědí, které tyto crawlery zásobují.
Jak ověřím, že crawlery stále projdou?
Limity se snadno nastaví příliš přísně. Bezplatná kontrola AISeeWhy stáhne stránku jako 16 AI a vyhledávacích crawlerů vedle skutečného prohlížeče, pro každý crawler použije váš robots.txt a rozpozná ověřovací stránky firewallu, takže se ukáže pravidlo, které crawlerům odpovídá jinak než prohlížečům. Jeden požadavek na crawler rozumný limit nespustí, a o to jde: spusťte ji po změně pravidel a ověřte, že běžné požadavky stále procházejí. Bezplatná kontrola IP adres AI crawlerů vám řekne, zda IP z vašich logů opravdu patří GPTBot nebo jinému crawleru.
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Kontrola IP adres AI crawlerů
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Podporuje Google Crawl-delay?
Ne. Dokumentace Googlu k robots.txt uvádí crawl-delay mezi poli, která nepodporuje. Chcete-li Googlebota krátce zpomalit, vracejte na část požadavků 503, 500 nebo 429; pro delší snížení nabízí Google zvláštní žádost přes Search Console.
Respektuje ClaudeBot Crawl-delay?
Anthropic uvádí, že podporuje nestandardní rozšíření Crawl-delay. Dejte ho do skupiny ClaudeBot a zopakujte v ní všechna pravidla Disallow ze skupiny User-agent: *.
Podporují GPTBot a PerplexityBot Crawl-delay?
Stránky o crawlerech OpenAI a Perplexity Crawl-delay nezmiňují, takže jeho účinek není zdokumentovaný. Použijte limit na straně serveru, který na nadbytečné požadavky odpovídá 429.
Uškodí odpověď 429 mému hodnocení ve vyhledávání?
Krátkodobě ne. Google dokumentuje 429 a 503 jako způsob, jak dočasně omezit procházení, ale varuje, že URL, které je vracejí několik dní, mohou vypadnout z jeho indexu.
Mám kvůli zátěži zablokovat GPTBot?
Můžete. OpenAI uvádí, že GPTBot prochází obsah, který může být použit k trénování, a že každé nastavení v robots.txt je nezávislé, takže jeho zákaz vás neodstraní z vyhledávání ChatGPT, které používá OAI-SearchBot. Nejdřív v logech ověřte, že zátěž opravdu přichází z adres OpenAI.
Zdroje
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers