Jak číst přehled AI Crawl Control v Cloudflare a zjistit, které AI crawlery projdou
Otevřete AI Crawl Control v panelu Cloudflare: seznam crawlerů ukazuje každý AI crawler, kterého Cloudflare na vaší doméně zaznamenal, jeho požadavky, porušení robots.txt a zda má akci Allow, nebo Block. Chcete-li zachovat AI vyhledávání a odmítnout trénování, povolte vyhledávací a agentní crawlery a tréninkové crawlery zablokujte nebo zakažte tam nebo v AI Crawler and Agent access policies. Pak výsledek ověřte zvenku přes curl, protože jiné funkce Cloudflare mohou povolený crawler stále blokovat.
Cloudflare má nyní dvě místa, která rozhodují o tom, co AI crawlery dostanou: AI Crawl Control, přehled a ovládací panel pro jednotlivé crawlery, který se dříve jmenoval AI Audit, a AI Crawler and Agent access policies pro celou zónu v nastavení Security. Obě jsou dostupná i v plánu Free, obě se během roku 2026 změnila a ani jedno vás neupozorní na všechny další funkce, které mohou crawleru stále odpovědět kódem 403. Tento návod projde přehled sloupec po sloupci, ukáže, kde nastavit povolení a blokování, a skončí testem, který spustíte na vlastním počítači.
Na této stránce
- Kde v Cloudflare najdu přehled AI crawlerů?
- Co znamená každý sloupec a metrika v přehledu AI Crawl Control?
- Jak v Cloudflare povolím AI vyhledávací crawlery a zablokuji tréninkové?
- Co se změnilo ve výchozím nastavení Cloudflare pro AI crawlery?
- Proč Cloudflare stále blokuje AI crawlery, i když jsem je povolil?
- Jak zvenku ověřím, které AI crawlery Cloudflare pustí dál?
- Jak AISeeWhy kontroluje, co Cloudflare posílá AI crawlerům?
Kde v Cloudflare najdu přehled AI crawlerů?
V panelu vyberte účet a doménu a otevřete AI Crawl Control. Cloudflare uvádí, že funguje bez nastavování a je dostupný ve všech plánech, pokud provoz vaší domény jde přes proxy Cloudflare. Má čtyři části:
- Overview: souhrn s celkovým počtem požadavků, změnou objemu, nejčastějším stavovým kódem, nejoblíbenější cestou a crawlery s nejvyšším objemem, dále informace, zda je zapnutý spravovaný robots.txt od Cloudflare, a crawlery seskupené podle provozovatele, například OpenAI, Microsoft, Google, ByteDance, Anthropic a Meta.
- Seznam crawlerů: jeden řádek na AI crawler se sloupcem Action, kde volíte Allow nebo Block. Dokumentace Cloudflare tuto kartu na jedné stránce nazývá Crawlers a na jiné Security, takže hledejte tabulku se sloupcem Action.
- Metrics: požadavky v čase, rozložení stavových kódů, formát obsahu, nejoblíbenější cesty a v placených plánech i odkazy. Filtry pokrývají časové období, crawler, provozovatele, hostname a cestu a data můžete exportovat do CSV.
- Directives: stav vašeho souboru robots.txt a seznam porušení robots.txt.
Při čtení čísel jsou důležitá dvě omezení plánů. V plánu Free rozpoznává AI Crawl Control crawlery jen podle řetězce user agenta, takže vidí pouze crawlery, které se samy ohlásí, a karta Metrics pokrývá posledních 24 hodin. Placené plány přidávají detekci pomocí ID detekce Bot Management a Enterprise s Bot Management má nastavitelná časová období.
Co znamená každý sloupec a metrika v přehledu AI Crawl Control?
Cloudflare pole dokumentuje takto. Na definicích záleží, protože několik čísel zahrnuje víc, než byste čekali.
- Crawler a Category: název crawleru, jeho provozovatel a kategorie, například AI crawler, AI assistant nebo archiver.
- Requests: povolené plus neúspěšné požadavky s grafem trendu. Neúspěšné požadavky mohou pocházet z jakéhokoli pravidla nebo chyby odpovědi, nejen z blokace v AI Crawl Control, takže vysoké číslo u crawleru, který jste povolili, ukazuje na jiné pravidlo nebo na chyby na vašem originu.
- Allowed requests: požadavky, které dostaly stav mezi 200 a 299. Přenos dat se měří z bajtů, které Cloudflare odeslal u povolených požadavků.
- Robots.txt violations: kolikrát crawler požádal o cestu, kterou váš robots.txt zakazuje. Cloudflare porovnává minulé požadavky s vašimi současnými pravidly, takže pravidlo přidané dnes může označit požadavky, které byly v době svého vzniku povolené.
- Action: Allow, Block, nebo u účtů v betě pay per crawl Charge.
- Rozložení stavových kódů: 2xx, 3xx, 4xx a 5xx. Skupina 4xx zahrnuje 403 z blokací a 402 z pay per crawl.
- Referrals a hlavní odkazující weby, jen v placených plánech: návštěvy, které přišly z AI služeb, například z chatgpt.com, a stránky, na které dorazily.
Přehled čtěte podle akce, kterou jste zvolili. Crawler nastavený na Allow by měl mít převážně povolené požadavky a kódy 2xx. Pokud má hodně neúspěšných požadavků, otevřete rozložení stavových kódů filtrované na tento crawler a v Security Analytics najděte pravidlo, které odpovědělo.
Jak v Cloudflare povolím AI vyhledávací crawlery a zablokuji tréninkové?
Můžete to udělat po jednotlivých crawlerech nebo podle chování. Po crawlerech otevřete AI Crawl Control a nastavte Action u každého řádku. Cloudflare uvádí, že blokování tam vytvoří nebo upraví vlastní pravidlo WAF ve vaší zóně, které můžete ve WAF rozšířit o výjimky pro cesty. V placených plánech si zvolíte, zda zablokované crawlery dostanou 403, nebo 402, a nastavíte tělo odpovědi v prostém textu.
Podle chování přejděte do Security, pak Settings, vyfiltrujte Bot traffic a otevřete AI Crawler and Agent access policies. Cloudflare třídí AI provoz do tří chování a každá zásada platí pro ověřené boty s tímto chováním i pro odpovídající neověřené boty:
- Search: sběr nebo indexování obsahu, aby později mohl odpovídat na otázky.
- Agent: jednání v reálném čase jménem člověka, například stahování stránek z chatu a agenti v prohlížeči.
- Training: sběr obsahu k trénování nebo doladění modelů, včetně crawlerů používaných pro trénování i vyhledávání.
Každé chování lze nastavit na Block, Block on pages with ads nebo Allow (do not block). Training má navíc Disallow, který crawlery jen žádá přes robots.txt. Se zapnutým Bot Preference Sync vloží Cloudflare na začátek vašeho robots.txt spravovaná pravidla, která zakazují Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot a meta-externalagent, přidá řádek Content Signals a tréninkové AI crawlery blokuje i na okraji sítě, kromě crawlerů používaných pro vyhledávání i trénování zároveň.
Pro většinu webů, které chtějí citace v AI, je bezpečná kombinace Search a Agent na Allow a Training na Disallow, a pak jednotlivé akce Block v AI Crawl Control pro čistě tréninkové crawlery, které chcete zastavit na okraji sítě.
Co se změnilo ve výchozím nastavení Cloudflare pro AI crawlery?
1. července 2025 Cloudflare oznámil, že výchozím nastavením bude blokovat AI crawlery, pokud tvůrcům nezaplatí. 1. července 2026 nahradil jediný přepínač Block AI bots samostatnými zásadami Search, Agent a Training popsanými výše, pro všechny plány včetně Free. Stejné oznámení uvádělo, že nové domény připojené od 15. září 2026 budou mít Training a Agent zablokované na stránkách s reklamou a Search povolené.
Aktuální dokumentace zásad Cloudflare, naposledy aktualizovaná 2. listopadu 2026, uvádí, že nové domény mají ve výchozím stavu Allow (do not block) pro všechna tři chování. Protože vlastní stránky Cloudflare v různých dobách popisovaly různá výchozí nastavení, nespoléhejte pro svou zónu na žádnou z nich: otevřete stránku zásad a podívejte se, co je nastaveno.
Proč Cloudflare stále blokuje AI crawlery, i když jsem je povolil?
Akce Allow v AI Crawl Control jen zabrání tomu, aby blokoval samotný AI Crawl Control. Na požadavek dál působí jiné funkce. Časté příčiny:
- Blokování Training blokuje i vyhledávací crawlery, které dělají obojí. Dokumentace Cloudflare uvádí, že akce pro Training platí pro crawlery se smíšeným účelem, a jeho oznámení z července 2026 jmenuje Googlebot, Applebot a bingbot jako crawlery, které zákazníci blokující Training budou od 15. září 2026 blokovat. Disallow je užší volba, protože jeho blokace na okraji sítě crawlery se smíšeným účelem vynechává.
- Je zapnutý Bot Fight Mode. Cloudflare uvádí, že Bot Fight Mode nelze obejít ani přeskočit vlastními pravidly WAF ani Page Rules. Pokud crawler podrobuje ověření, vypněte ho, nebo v plánu, který to umožňuje, použijte Super Bot Fight Mode, který podporuje pravidla pro přeskočení.
- Starší vlastní pravidlo WAF blokuje user agenty obsahující
bot, nebo pravidlo rate limiting odpovídá na nárazy kódem 429. Ta platí bez ohledu na Action v AI Crawl Control. - Pravidlo blokace někdo upravil ručně. Pokud se pravidlo WAF za AI Crawl Control změnilo na jiný kód odpovědi, panel už vaši volbu nedokáže prosadit.
- robots.txt crawler stále zakazuje. Allow v Cloudflare váš robots.txt nemění, takže slušný crawler se stejně drží stranou. V naší studii 1 000 nejnavštěvovanějších domén 98 ze 155 webů, které v robots.txt blokovaly tréninkový AI crawler, blokovalo také alespoň jeden AI vyhledávací nebo uživatelský crawler.
Jak zvenku ověřím, které AI crawlery Cloudflare pustí dál?
Požádejte o stejnou stránku s user agentem prohlížeče a s user agentem každého crawleru a porovnejte stav a velikost. Řetězce OpenAI, Perplexity a Googlu níže jsou ty, které tyto firmy zveřejňují.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Řádek crawleru s 403, 429 nebo 503 nebo s mnohem menší velikostí než řádek prohlížeče znamená, že něco před vaším originem odpovědělo jinak. V plánu Free rozpoznává AI Crawl Control crawlery podle user agenta, takže tento test jeho blokace rozumně ověří. Pravidla založená na stavu ověřeného bota nebo na bot skóre mohou s vaším požadavkem zacházet jinak než se skutečným crawlerem, protože přichází z vaší IP adresy, a ne ze zveřejněných rozsahů provozovatele. Po testu vyhledejte své požadavky v Security Analytics a zjistěte, které pravidlo se uplatnilo.
Jak AISeeWhy kontroluje, co Cloudflare posílá AI crawlerům?
Bezplatná kontrola AISeeWhy stáhne vaši stránku jako 16 AI a vyhledávacích crawlerů vedle skutečného prohlížeče, pro každý crawler použije váš robots.txt a rozpozná ověřovací stránky firewallu, takže uvidíte, zda výsledek v panelu Cloudflare odpovídá tomu, co crawlery skutečně dostávají.
Opravy tohoto problému
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Kontrola IP adres AI crawlerů
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Je Cloudflare AI Crawl Control zdarma?
Ano. Cloudflare uvádí AI Crawl Control jako dostupný ve všech plánech. Plán Free rozpoznává crawlery jen podle user agenta a v Metrics ukazuje posledních 24 hodin; data o odkazech a vlastní odpovědi při blokaci vyžadují placený plán.
Co se stalo s Cloudflare AI Audit?
Byl přejmenován. Dokumentace Cloudflare popisuje AI Crawl Control jako dřívější AI Audit se stejným účelem: vidět, které AI crawlery web navštěvují, a pro každý nastavit akci.
Změní zablokování crawleru v AI Crawl Control můj robots.txt?
Ne. Akce Block vytvoří nebo upraví vlastní pravidlo WAF. robots.txt se změní jen tehdy, když pro Training použijete volbu Disallow s Bot Preference Sync, který na začátek souboru vloží spravovaná pravidla Cloudflare.
Co se v Cloudflare počítá jako porušení robots.txt?
Požadavek AI crawleru na cestu, kterou váš robots.txt zakazuje. Cloudflare porovnává minulé požadavky s vašimi současnými pravidly, takže nové pravidlo může označit starší požadavky, které byly v té době povolené.
Co je pay per crawl?
Akce Charge, která po AI crawlerech žádá platbu za každý požadavek a jinak odpoví HTTP 402 s cenou. Cloudflare ji popisuje jako uzavřenou betu a blokace z WAF nebo Bot Management mají před ní přednost.
Zdroje
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: zpráva o přístupu AI crawlerů, 2026-11