Ako čítať prehľad AI Crawl Control v Cloudflare a zistiť, ktoré AI crawlery prejdú
V paneli Cloudflare otvorte AI Crawl Control: zoznam crawlerov ukazuje každý AI crawler, ktorý Cloudflare na vašej doméne zaznamenal, jeho požiadavky, porušenia robots.txt a to, či má akciu Allow alebo Block. Ak chcete zostať v AI vyhľadávaní a odmietnuť trénovanie, povoľte vyhľadávacie a agentové crawlery a tréningové zablokujte alebo zakážte tam alebo v AI Crawler and Agent access policies. Potom to overte zvonku cez curl, pretože iné funkcie Cloudflare môžu povolený crawler stále zablokovať.
Cloudflare má teraz dve miesta, ktoré rozhodujú, čo AI crawlery dostanú: AI Crawl Control, prehľad a ovládací panel pre jednotlivé crawlery, ktorý sa predtým volal AI Audit, a zásady AI Crawler and Agent access policies pre celú zónu v nastaveniach Security. Obe sú dostupné v pláne Free, obe sa v roku 2026 zmenili a ani jedna vám nepovie o všetkých ostatných funkciách, ktoré môžu crawleru stále odpovedať kódom 403. Tento návod prechádza prehľad stĺpec po stĺpci, ukazuje, kde nastaviť povolenie a blokovanie, a končí testom, ktorý spustíte z vlastného počítača.
Na tejto stránke
- Kde je v Cloudflare prehľad AI crawlerov?
- Čo znamená každý stĺpec a metrika v prehľade AI Crawl Control?
- Ako v Cloudflare povoliť AI vyhľadávacie crawlery a zablokovať tréningové?
- Čo sa zmenilo v predvolených nastaveniach AI crawlerov v Cloudflare?
- Prečo Cloudflare stále blokuje AI crawlery, hoci som ich povolil?
- Ako zvonku overiť, ktoré AI crawlery Cloudflare pustí?
- Ako AISeeWhy kontroluje, čo Cloudflare posiela AI crawlerom?
Kde je v Cloudflare prehľad AI crawlerov?
V paneli vyberte svoj účet a doménu a otvorte AI Crawl Control. Cloudflare uvádza, že funguje bez konfigurácie a je dostupný vo všetkých plánoch, pokiaľ návštevnosť vašej domény prechádza cez proxy Cloudflare. Má štyri časti:
- Overview: súhrn s celkovým počtom požiadaviek, zmenou objemu, najčastejším stavovým kódom, najpopulárnejšou cestou a crawlermi s veľkým objemom, ďalej či je zapnutý spravovaný robots.txt od Cloudflare, a crawlery zoskupené podľa prevádzkovateľa, napríklad OpenAI, Microsoft, Google, ByteDance, Anthropic a Meta.
- Zoznam crawlerov: jeden riadok na AI crawler so stĺpcom Action, v ktorom volíte Allow alebo Block. Dokumentácia Cloudflare túto kartu na jednej stránke volá Crawlers a na inej Security, preto hľadajte tabuľku so stĺpcom Action.
- Metrics: požiadavky v čase, rozdelenie stavových kódov, formát obsahu, najpopulárnejšie cesty a v platených plánoch odkazy (referrals). Filtre pokrývajú obdobie, crawler, prevádzkovateľa, hostiteľa a cestu a údaje môžete exportovať do CSV.
- Directives: stav vášho súboru robots.txt a zoznam porušení robots.txt.
Pri čítaní čísel sú dôležité dve obmedzenia plánov. V pláne Free AI Crawl Control rozpoznáva crawlery len podľa reťazca user agenta, takže vidí crawlery, ktoré sa samy ohlásia, a nič iné, a karta Metrics pokrýva posledných 24 hodín. Platené plány pridávajú detekciu cez detection ID z Bot Management a Enterprise s Bot Management má nastaviteľné časové obdobia.
Čo znamená každý stĺpec a metrika v prehľade AI Crawl Control?
Cloudflare polia dokumentuje takto. Definície sú dôležité, pretože viaceré čísla počítajú viac, než by ste čakali.
- Crawler a Category: názov crawlera, jeho prevádzkovateľ a kategória, napríklad AI crawler, AI asistent alebo archivátor.
- Requests: povolené plus neúspešné požiadavky s grafom trendu. Neúspešné požiadavky môžu pochádzať z akéhokoľvek pravidla alebo chyby odpovede, nielen z blokovania v AI Crawl Control, takže vysoké číslo pri crawleri, ktorý ste povolili, ukazuje na iné pravidlo alebo na chyby na vašom pôvodnom serveri.
- Allowed requests: požiadavky, ktoré dostali stav od 200 do 299. Prenos dát sa meria z bajtov, ktoré Cloudflare odoslal pri povolených požiadavkách.
- Robots.txt violations: koľkokrát crawler požiadal o cestu, ktorú váš robots.txt zakazuje. Cloudflare porovnáva minulé požiadavky s vašimi aktuálnymi pravidlami, takže pravidlo pridané dnes môže označiť požiadavky, ktoré boli v čase odoslania povolené.
- Action: Allow, Block alebo pri účtoch v beta verzii pay per crawl Charge.
- Rozdelenie stavových kódov: 2xx, 3xx, 4xx a 5xx. Skupina 4xx zahŕňa 403 z blokovania a 402 z pay per crawl.
- Referrals a top referrers, len v platených plánoch: návštevy, ktoré prišli zo služieb AI, napríklad z chatgpt.com, a stránky, na ktoré dopadli.
Prehľad čítajte od akcie, ktorú ste zvolili. Crawler nastavený na Allow by mal ukazovať najmä povolené požiadavky a kódy 2xx. Ak ukazuje veľa neúspešných požiadaviek, otvorte rozdelenie stavových kódov vyfiltrované na tento crawler a v Security Analytics nájdite pravidlo, ktoré odpovedalo.
Ako v Cloudflare povoliť AI vyhľadávacie crawlery a zablokovať tréningové?
Dá sa to po jednotlivých crawleroch alebo podľa správania. Pri jednotlivých crawleroch otvorte AI Crawl Control a pre každý riadok nastavte Action. Cloudflare uvádza, že blokovanie tam vytvorí alebo aktualizuje vlastné pravidlo WAF vo vašej zóne, ktoré môžete vo WAF rozšíriť o výnimky pre cesty. V platených plánoch môžete zvoliť, či zablokované crawlery dostanú 403 alebo 402, a nastaviť textové telo odpovede.
Podľa správania prejdite do Security, potom Settings, vyfiltrujte Bot traffic a otvorte AI Crawler and Agent access policies. Cloudflare delí AI návštevnosť do troch správaní a každá zásada platí pre overené boty s daným správaním a pre zodpovedajúce neoverené boty:
- Search: zber alebo indexovanie obsahu, aby neskôr mohol odpovedať na otázky.
- Agent: konanie v reálnom čase v mene človeka, napríklad sťahovanie z chatu a agenty v prehliadači.
- Training: zber obsahu na trénovanie alebo dolaďovanie modelov vrátane crawlerov používaných na trénovanie aj vyhľadávanie.
Každé správanie môžete nastaviť na Block, Block on pages with ads alebo Allow (do not block). Training má navyše Disallow, ktoré crawlery len žiada cez robots.txt. So zapnutým Bot Preference Sync Cloudflare pridá na začiatok vášho robots.txt spravované pravidlá, ktoré zakazujú Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot a meta-externalagent, pridá riadok Content Signals a tréningové AI crawlery zablokuje aj na okraji siete, okrem crawlerov používaných na vyhľadávanie aj trénovanie.
Pre väčšinu webov, ktoré chcú citácie v AI, je bezpečnou kombináciou Search a Agent na Allow a Training na Disallow, a potom jednotlivé akcie Block v AI Crawl Control pre čisto tréningové crawlery, ktoré chcete zastaviť na okraji siete.
Čo sa zmenilo v predvolených nastaveniach AI crawlerov v Cloudflare?
1. júla 2025 Cloudflare oznámil, že mení predvolené nastavenie na blokovanie AI crawlerov, pokiaľ tvorcom nezaplatia. 1. júla 2026 nahradil jediný prepínač Block AI bots samostatnými zásadami Search, Agent a Training opísanými vyššie, pre všetky plány vrátane Free. To isté oznámenie uviedlo, že nové domény pridané od 15. septembra 2026 budú mať Training a Agent zablokované na stránkach s reklamami a Search povolené.
Aktuálna dokumentácia zásad Cloudflare, naposledy aktualizovaná 2. novembra 2026, uvádza, že nové domény majú pre všetky tri správania predvolene Allow (do not block). Keďže stránky samotného Cloudflare v rôznych časoch opisovali rôzne predvolené nastavenia, pri svojej zóne sa nespoliehajte na žiadnu z nich: otvorte stránku zásad a pozrite sa, čo je nastavené.
Prečo Cloudflare stále blokuje AI crawlery, hoci som ich povolil?
Akcia Allow v AI Crawl Control len zastaví blokovanie zo strany AI Crawl Control. Na požiadavku stále pôsobia iné funkcie. Časté príčiny:
- Blokovanie Training blokuje aj vyhľadávacie crawlery, ktoré robia oboje. Dokumentácia Cloudflare uvádza, že akcie Training platia pre crawlery so zmiešaným účelom, a jeho oznámenie z júla 2026 menuje Googlebot, Applebot a bingbot ako crawlery, ktoré zákazníci blokujúci Training od 15. septembra 2026 zablokujú. Disallow je užšia voľba, pretože jeho blokovanie na okraji siete crawlery so zmiešaným účelom vynecháva.
- Je zapnutý Bot Fight Mode. Cloudflare uvádza, že Bot Fight Mode nemožno obísť ani preskočiť vlastnými pravidlami WAF ani Page Rules. Ak crawleru posiela overovanie, vypnite ho, alebo v pláne, ktorý ho má, použite Super Bot Fight Mode, ktorý pravidlá na preskočenie podporuje.
- Staršie vlastné pravidlo WAF blokuje user agentov obsahujúcich
botalebo pravidlo obmedzenia rýchlosti odpovedá na nárazy kódom 429. Tieto pravidlá bežia bez ohľadu na Action v AI Crawl Control. - Pravidlo blokovania bolo upravené ručne. Ak sa pravidlo WAF za AI Crawl Control zmenilo na iný kód odpovede, panel už vašu voľbu nedokáže presadiť.
- robots.txt crawler stále zakazuje. Allow v Cloudflare váš robots.txt nemení, takže slušný crawler sa aj tak nepriblíži. V našej štúdii 1 000 najpopulárnejších domén zo 155 webov, ktoré v robots.txt blokovali tréningový AI crawler, 98 blokovalo aj aspoň jeden AI vyhľadávací alebo používateľský crawler.
Ako zvonku overiť, ktoré AI crawlery Cloudflare pustí?
Vyžiadajte tú istú stránku s user agentom prehliadača a s user agentom každého crawlera a porovnajte stav a veľkosť. Reťazce OpenAI, Perplexity a Google nižšie sú tie, ktoré tieto firmy zverejňujú.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Riadok crawlera s 403, 429 alebo 503 alebo s oveľa menšou veľkosťou než riadok prehliadača znamená, že niečo pred vaším pôvodným serverom odpovedalo inak. V pláne Free AI Crawl Control rozpoznáva crawlery podľa user agenta, takže tento test je rozumnou kontrolou jeho blokovaní. Pravidlá založené na stave overeného bota alebo na skóre botov môžu s vašou požiadavkou zaobchádzať inak než so skutočným crawlerom, pretože prichádza z vašej IP adresy, nie zo zverejnených rozsahov prevádzkovateľa. Po teste nájdite svoje požiadavky v Security Analytics a pozrite sa, ktoré pravidlo sa uplatnilo.
Ako AISeeWhy kontroluje, čo Cloudflare posiela AI crawlerom?
Bezplatná kontrola AISeeWhy vyžiada vašu stránku ako 16 AI a vyhľadávacích crawlerov vedľa skutočného prehliadača, pre každý crawler uplatní váš robots.txt a rozpozná overovacie stránky firewallu, takže uvidíte, či výsledok v paneli Cloudflare zodpovedá tomu, čo crawlery naozaj dostanú.
Opravy tohto problému
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Je Cloudflare AI Crawl Control zadarmo?
Áno. Cloudflare uvádza AI Crawl Control ako dostupný vo všetkých plánoch. Plán Free rozpoznáva crawlery len podľa user agenta a v Metrics ukazuje posledných 24 hodín; údaje o odkazoch a vlastné odpovede pri blokovaní vyžadujú platený plán.
Čo sa stalo s Cloudflare AI Audit?
Bol premenovaný. Dokumentácia Cloudflare opisuje AI Crawl Control ako niekdajší AI Audit s rovnakým účelom: vidieť, ktoré AI crawlery prichádzajú, a pre každý nastaviť akciu.
Zmení blokovanie crawlera v AI Crawl Control môj robots.txt?
Nie. Akcia Block vytvorí alebo aktualizuje vlastné pravidlo WAF. robots.txt sa zmení len vtedy, ak pre Training použijete možnosť Disallow s Bot Preference Sync, ktorá pridá spravované pravidlá Cloudflare na začiatok vášho súboru.
Čo sa v Cloudflare počíta ako porušenie robots.txt?
Požiadavka AI crawlera na cestu, ktorú váš robots.txt zakazuje. Cloudflare porovnáva minulé požiadavky s vašimi aktuálnymi pravidlami, takže nové pravidlo môže označiť staršie požiadavky, ktoré boli v tom čase povolené.
Čo je pay per crawl?
Akcia Charge, ktorá od AI crawlerov žiada platbu za každú požiadavku a inak odpovedá kódom HTTP 402 s cenou. Cloudflare ju opisuje ako uzavretú betu a blokovania z WAF alebo Bot Management majú pred ňou prednosť.
Zdroje
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Správa o prístupe AI crawlerov, 2026-11