Jak číst přehled AI Crawl Control v Cloudflare a zjistit, které AI crawlery projdou

Publikováno

Stručná odpověď

Otevřete AI Crawl Control v panelu Cloudflare: seznam crawlerů ukazuje každý AI crawler, kterého Cloudflare na vaší doméně zaznamenal, jeho požadavky, porušení robots.txt a zda má akci Allow, nebo Block. Chcete-li zachovat AI vyhledávání a odmítnout trénování, povolte vyhledávací a agentní crawlery a tréninkové crawlery zablokujte nebo zakažte tam nebo v AI Crawler and Agent access policies. Pak výsledek ověřte zvenku přes curl, protože jiné funkce Cloudflare mohou povolený crawler stále blokovat.

Cloudflare má nyní dvě místa, která rozhodují o tom, co AI crawlery dostanou: AI Crawl Control, přehled a ovládací panel pro jednotlivé crawlery, který se dříve jmenoval AI Audit, a AI Crawler and Agent access policies pro celou zónu v nastavení Security. Obě jsou dostupná i v plánu Free, obě se během roku 2026 změnila a ani jedno vás neupozorní na všechny další funkce, které mohou crawleru stále odpovědět kódem 403. Tento návod projde přehled sloupec po sloupci, ukáže, kde nastavit povolení a blokování, a skončí testem, který spustíte na vlastním počítači.

Na této stránce
  1. Kde v Cloudflare najdu přehled AI crawlerů?
  2. Co znamená každý sloupec a metrika v přehledu AI Crawl Control?
  3. Jak v Cloudflare povolím AI vyhledávací crawlery a zablokuji tréninkové?
  4. Co se změnilo ve výchozím nastavení Cloudflare pro AI crawlery?
  5. Proč Cloudflare stále blokuje AI crawlery, i když jsem je povolil?
  6. Jak zvenku ověřím, které AI crawlery Cloudflare pustí dál?
  7. Jak AISeeWhy kontroluje, co Cloudflare posílá AI crawlerům?

Kde v Cloudflare najdu přehled AI crawlerů?

V panelu vyberte účet a doménu a otevřete AI Crawl Control. Cloudflare uvádí, že funguje bez nastavování a je dostupný ve všech plánech, pokud provoz vaší domény jde přes proxy Cloudflare. Má čtyři části:

Při čtení čísel jsou důležitá dvě omezení plánů. V plánu Free rozpoznává AI Crawl Control crawlery jen podle řetězce user agenta, takže vidí pouze crawlery, které se samy ohlásí, a karta Metrics pokrývá posledních 24 hodin. Placené plány přidávají detekci pomocí ID detekce Bot Management a Enterprise s Bot Management má nastavitelná časová období.

Co znamená každý sloupec a metrika v přehledu AI Crawl Control?

Cloudflare pole dokumentuje takto. Na definicích záleží, protože několik čísel zahrnuje víc, než byste čekali.

Přehled čtěte podle akce, kterou jste zvolili. Crawler nastavený na Allow by měl mít převážně povolené požadavky a kódy 2xx. Pokud má hodně neúspěšných požadavků, otevřete rozložení stavových kódů filtrované na tento crawler a v Security Analytics najděte pravidlo, které odpovědělo.

Jak v Cloudflare povolím AI vyhledávací crawlery a zablokuji tréninkové?

Můžete to udělat po jednotlivých crawlerech nebo podle chování. Po crawlerech otevřete AI Crawl Control a nastavte Action u každého řádku. Cloudflare uvádí, že blokování tam vytvoří nebo upraví vlastní pravidlo WAF ve vaší zóně, které můžete ve WAF rozšířit o výjimky pro cesty. V placených plánech si zvolíte, zda zablokované crawlery dostanou 403, nebo 402, a nastavíte tělo odpovědi v prostém textu.

Podle chování přejděte do Security, pak Settings, vyfiltrujte Bot traffic a otevřete AI Crawler and Agent access policies. Cloudflare třídí AI provoz do tří chování a každá zásada platí pro ověřené boty s tímto chováním i pro odpovídající neověřené boty:

Každé chování lze nastavit na Block, Block on pages with ads nebo Allow (do not block). Training má navíc Disallow, který crawlery jen žádá přes robots.txt. Se zapnutým Bot Preference Sync vloží Cloudflare na začátek vašeho robots.txt spravovaná pravidla, která zakazují Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot a meta-externalagent, přidá řádek Content Signals a tréninkové AI crawlery blokuje i na okraji sítě, kromě crawlerů používaných pro vyhledávání i trénování zároveň.

Pro většinu webů, které chtějí citace v AI, je bezpečná kombinace Search a Agent na Allow a Training na Disallow, a pak jednotlivé akce Block v AI Crawl Control pro čistě tréninkové crawlery, které chcete zastavit na okraji sítě.

Co se změnilo ve výchozím nastavení Cloudflare pro AI crawlery?

1. července 2025 Cloudflare oznámil, že výchozím nastavením bude blokovat AI crawlery, pokud tvůrcům nezaplatí. 1. července 2026 nahradil jediný přepínač Block AI bots samostatnými zásadami Search, Agent a Training popsanými výše, pro všechny plány včetně Free. Stejné oznámení uvádělo, že nové domény připojené od 15. září 2026 budou mít Training a Agent zablokované na stránkách s reklamou a Search povolené.

Aktuální dokumentace zásad Cloudflare, naposledy aktualizovaná 2. listopadu 2026, uvádí, že nové domény mají ve výchozím stavu Allow (do not block) pro všechna tři chování. Protože vlastní stránky Cloudflare v různých dobách popisovaly různá výchozí nastavení, nespoléhejte pro svou zónu na žádnou z nich: otevřete stránku zásad a podívejte se, co je nastaveno.

Proč Cloudflare stále blokuje AI crawlery, i když jsem je povolil?

Akce Allow v AI Crawl Control jen zabrání tomu, aby blokoval samotný AI Crawl Control. Na požadavek dál působí jiné funkce. Časté příčiny:

Jak zvenku ověřím, které AI crawlery Cloudflare pustí dál?

Požádejte o stejnou stránku s user agentem prohlížeče a s user agentem každého crawleru a porovnejte stav a velikost. Řetězce OpenAI, Perplexity a Googlu níže jsou ty, které tyto firmy zveřejňují.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Řádek crawleru s 403, 429 nebo 503 nebo s mnohem menší velikostí než řádek prohlížeče znamená, že něco před vaším originem odpovědělo jinak. V plánu Free rozpoznává AI Crawl Control crawlery podle user agenta, takže tento test jeho blokace rozumně ověří. Pravidla založená na stavu ověřeného bota nebo na bot skóre mohou s vaším požadavkem zacházet jinak než se skutečným crawlerem, protože přichází z vaší IP adresy, a ne ze zveřejněných rozsahů provozovatele. Po testu vyhledejte své požadavky v Security Analytics a zjistěte, které pravidlo se uplatnilo.

Jak AISeeWhy kontroluje, co Cloudflare posílá AI crawlerům?

Bezplatná kontrola AISeeWhy stáhne vaši stránku jako 16 AI a vyhledávacích crawlerů vedle skutečného prohlížeče, pro každý crawler použije váš robots.txt a rozpozná ověřovací stránky firewallu, takže uvidíte, zda výsledek v panelu Cloudflare odpovídá tomu, co crawlery skutečně dostávají.

Opravy tohoto problému

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Je Cloudflare AI Crawl Control zdarma?

Ano. Cloudflare uvádí AI Crawl Control jako dostupný ve všech plánech. Plán Free rozpoznává crawlery jen podle user agenta a v Metrics ukazuje posledních 24 hodin; data o odkazech a vlastní odpovědi při blokaci vyžadují placený plán.

Co se stalo s Cloudflare AI Audit?

Byl přejmenován. Dokumentace Cloudflare popisuje AI Crawl Control jako dřívější AI Audit se stejným účelem: vidět, které AI crawlery web navštěvují, a pro každý nastavit akci.

Změní zablokování crawleru v AI Crawl Control můj robots.txt?

Ne. Akce Block vytvoří nebo upraví vlastní pravidlo WAF. robots.txt se změní jen tehdy, když pro Training použijete volbu Disallow s Bot Preference Sync, který na začátek souboru vloží spravovaná pravidla Cloudflare.

Co se v Cloudflare počítá jako porušení robots.txt?

Požadavek AI crawleru na cestu, kterou váš robots.txt zakazuje. Cloudflare porovnává minulé požadavky s vašimi současnými pravidly, takže nové pravidlo může označit starší požadavky, které byly v té době povolené.

Co je pay per crawl?

Akce Charge, která po AI crawlerech žádá platbu za každý požadavek a jinak odpoví HTTP 402 s cenou. Cloudflare ji popisuje jako uzavřenou betu a blokace z WAF nebo Bot Management mají před ní přednost.

Zdroje

Další články