Jak zpomalit AI crawlery, aniž byste je blokovali

Publikováno

Stručná odpověď

Omezujte rychlost místo blokování. Na nadbytečné požadavky crawlerů odpovídejte 429 nebo 503 s hlavičkou Retry-After, dejte každému crawleru vlastní rozpočet, /robots.txt vyjměte ze všech limitů a crawlerům servírujte stránky z cache. Crawl-delay v robots.txt pomáhá jen tam, kde ho provozovatel dokumentuje: Anthropic a Bing ano, Google uvádí, že ho nepodporuje, a OpenAI ani Perplexity ho nezmiňují. Vyhledávací AI crawlery nechte povolené, jinak zmizíte i z odpovědí, které zásobují.

Když crawler pošle tisíce požadavků za hodinu, rychlou opravou je Disallow: / nebo blokace ve firewallu. U tréninkového crawleru to může být rozumná volba. U OAI-SearchBot, Claude-SearchBot nebo PerplexityBot to vaše stránky odstraní z odpovědí AI, ve kterých se chcete objevovat. Většinou se zátěž dá snížit, aniž byste se toho vzdali, pomocí signálů, kterým crawlery už rozumějí: stavových kódů, cache a u některých provozovatelů Crawl-delay.

Na této stránce
  1. Který crawler zátěž skutečně způsobuje?
  2. Funguje Crawl-delay pro AI crawlery?
  3. Jak odpovědi 429 a 503 crawlery zpomalí?
  4. Jak nastavit limit požadavků pro AI crawlery?
  5. Může cache snížit zátěž od crawlerů?
  6. Čemu se při zpomalování crawlerů vyhnout?
  7. Jak ověřím, že crawlery stále projdou?

Který crawler zátěž skutečně způsobuje?

Než cokoli změníte, podívejte se. V přístupových logech spočítejte požadavky podle user agenta a podle hodin a zdrojové IP porovnejte s rozsahy, které každý dodavatel zveřejňuje; příkazy najdete v našem návodu ke kontrole logů serveru na AI crawlery. Často se objeví dvě zjištění:

Crawlery také roztřiďte podle úlohy. Tréninkové crawlery jako GPTBot a ClaudeBot nejsou ty, díky kterým vás vyhledávání s AI může citovat, takže pokud je problémem jeden z nich, je jeho zákaz rozumnou možností. Zbytek tohoto návodu je pro crawlery, které si chcete ponechat.

Funguje Crawl-delay pro AI crawlery?

Crawl-delay není součástí RFC 9309, takže každý provozovatel rozhoduje, zda ho bude číst. Dokumentace k listopadu 2026 uvádí:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Pozor na logiku skupin. Crawler, který najde skupinu se svým názvem, skupinu User-agent: * zcela ignoruje, takže skupina ClaudeBot, která obsahuje jen Crawl-delay, by zahodila každé Disallow, které jste nastavili pro všechny ostatní. Zopakujte je jako výše. Bing popisuje Crawl-delay jako výjimku, kterou čte z kterékoli z obou skupin, ale u jiných crawlerů to předpokládat nemůžete.

Jak odpovědi 429 a 503 crawlery zpomalí?

Při špičkách zátěže je stavový kód signálem, který mají crawlery respektovat. 429 Too Many Requests, definovaný v RFC 6585, znamená, že klient poslal v daném čase příliš mnoho požadavků, a může nést hlavičku Retry-After, která říká, jak dlouho čekat. 503 Service Unavailable říká, že server momentálně nezvládá.

Google to dokumentuje jako způsob, jak rychle snížit rychlost procházení Googlebota: na část požadavků vracet 500, 503 nebo 429 místo 200. Uvádí, že to sníží rychlost procházení pro celý název hostitele a že Retry-After může obsahovat počet sekund nebo datum.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Dělejte to krátce. Google nedoporučuje to dělat déle než jeden až dva dny, protože URL, která tyto kódy vrací několik dní, může vypadnout z indexu. Pro trvalé snížení nabízí Google místo toho zvláštní žádost přes Search Console.

OpenAI, Anthropic ani Perplexity nedokumentují, jak jejich crawlery reagují na 429, 503 nebo Retry-After. Kódy jsou standardní způsob, jak požádat o méně, ale jak rychle který AI crawler ubere, se nikde nedočtete.

Jak nastavit limit požadavků pro AI crawlery?

Dejte každému crawleru vlastní rozpočet místo jednoho limitu pro veškerý provoz a požadavky nad ním odmítejte kódem 429. V nginx to dělá modul limit_req. Požadavky s prázdným klíčem se nepočítají, takže map, který vrací klíč jen pro user agenty crawlerů, nechá lidské návštěvníky na pokoji. Zde dostane každý crawler 60 požadavků za minutu s nárazem 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Klíčem je tu user agent, takže kdokoli zkopíruje název crawleru, sdílí jeho rozpočet. Pro limit požadavků je to přijatelné. Pro povolující pravidlo porovnávejte i zveřejněné rozsahy IP dodavatele.

V Cloudflare dělají stejnou práci na okraji sítě pravidla rate limiting. V plánu Free dostanete jedno pravidlo, počítané podle IP za 10 sekund, a výraz pravidla může používat cestu a pole Verified Bot. Počítání podle IP je hrubé u crawlerů, které rozkládají požadavky na mnoho adres, a vyšší plány přidávají další možnosti počítání. Výchozí odpověď je 429 a můžete nastavit jiný kód 4xx a vlastní tělo odpovědi. AI Crawl Control nabízí pro každý crawler Allow, Block a v soukromé betě Charge, ale žádné nastavení rychlosti.

Ať použijete cokoli, /robots.txt z limitu vyjměte. RFC 9309 uvádí, že chyba serveru u robots.txt znamená, že crawler musí celý web považovat za zakázaný, a Google 429 nepočítá mezi kódy 4xx, které bere jako chybějící soubor.

Může cache snížit zátěž od crawlerů?

Často víc než limit požadavků. Crawlery většinou žádají veřejné stránky, které jsou pro každého návštěvníka stejné, takže jejich servírování z CDN nebo cache stránek promění drahé vykreslování v levné zásahy cache. Ověřte, že vaše cache nedrží pro user agenty crawlerů samostatnou variantu mimo cache.

Pomáhají i podmíněné požadavky. Google uvádí, že jeho crawlery podporují HTTP cache s ETag a If-None-Match a s Last-Modified a If-Modified-Since a že když jsou přítomné oba, použijí ETag. Stránky o crawlerech OpenAI, Anthropic a Perplexity neuvádějí, zda jejich crawlery posílají podmíněné požadavky, takže s touto úsporou počítejte jen u Googlu.

Čemu se při zpomalování crawlerů vyhnout?

Jak ověřím, že crawlery stále projdou?

Limity se snadno nastaví příliš přísně. Bezplatná kontrola AISeeWhy stáhne stránku jako 16 AI a vyhledávacích crawlerů vedle skutečného prohlížeče, pro každý crawler použije váš robots.txt a rozpozná ověřovací stránky firewallu, takže se ukáže pravidlo, které crawlerům odpovídá jinak než prohlížečům. Jeden požadavek na crawler rozumný limit nespustí, a o to jde: spusťte ji po změně pravidel a ověřte, že běžné požadavky stále procházejí. Bezplatná kontrola IP adres AI crawlerů vám řekne, zda IP z vašich logů opravdu patří GPTBot nebo jinému crawleru.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Podporuje Google Crawl-delay?

Ne. Dokumentace Googlu k robots.txt uvádí crawl-delay mezi poli, která nepodporuje. Chcete-li Googlebota krátce zpomalit, vracejte na část požadavků 503, 500 nebo 429; pro delší snížení nabízí Google zvláštní žádost přes Search Console.

Respektuje ClaudeBot Crawl-delay?

Anthropic uvádí, že podporuje nestandardní rozšíření Crawl-delay. Dejte ho do skupiny ClaudeBot a zopakujte v ní všechna pravidla Disallow ze skupiny User-agent: *.

Podporují GPTBot a PerplexityBot Crawl-delay?

Stránky o crawlerech OpenAI a Perplexity Crawl-delay nezmiňují, takže jeho účinek není zdokumentovaný. Použijte limit na straně serveru, který na nadbytečné požadavky odpovídá 429.

Uškodí odpověď 429 mému hodnocení ve vyhledávání?

Krátkodobě ne. Google dokumentuje 429 a 503 jako způsob, jak dočasně omezit procházení, ale varuje, že URL, které je vracejí několik dní, mohou vypadnout z jeho indexu.

Mám kvůli zátěži zablokovat GPTBot?

Můžete. OpenAI uvádí, že GPTBot prochází obsah, který může být použit k trénování, a že každé nastavení v robots.txt je nezávislé, takže jeho zákaz vás neodstraní z vyhledávání ChatGPT, které používá OAI-SearchBot. Nejdřív v logech ověřte, že zátěž opravdu přichází z adres OpenAI.

Zdroje

Další články