Ako čítať prehľad AI Crawl Control v Cloudflare a zistiť, ktoré AI crawlery prejdú

Publikované

Krátka odpoveď

V paneli Cloudflare otvorte AI Crawl Control: zoznam crawlerov ukazuje každý AI crawler, ktorý Cloudflare na vašej doméne zaznamenal, jeho požiadavky, porušenia robots.txt a to, či má akciu Allow alebo Block. Ak chcete zostať v AI vyhľadávaní a odmietnuť trénovanie, povoľte vyhľadávacie a agentové crawlery a tréningové zablokujte alebo zakážte tam alebo v AI Crawler and Agent access policies. Potom to overte zvonku cez curl, pretože iné funkcie Cloudflare môžu povolený crawler stále zablokovať.

Cloudflare má teraz dve miesta, ktoré rozhodujú, čo AI crawlery dostanú: AI Crawl Control, prehľad a ovládací panel pre jednotlivé crawlery, ktorý sa predtým volal AI Audit, a zásady AI Crawler and Agent access policies pre celú zónu v nastaveniach Security. Obe sú dostupné v pláne Free, obe sa v roku 2026 zmenili a ani jedna vám nepovie o všetkých ostatných funkciách, ktoré môžu crawleru stále odpovedať kódom 403. Tento návod prechádza prehľad stĺpec po stĺpci, ukazuje, kde nastaviť povolenie a blokovanie, a končí testom, ktorý spustíte z vlastného počítača.

Na tejto stránke
  1. Kde je v Cloudflare prehľad AI crawlerov?
  2. Čo znamená každý stĺpec a metrika v prehľade AI Crawl Control?
  3. Ako v Cloudflare povoliť AI vyhľadávacie crawlery a zablokovať tréningové?
  4. Čo sa zmenilo v predvolených nastaveniach AI crawlerov v Cloudflare?
  5. Prečo Cloudflare stále blokuje AI crawlery, hoci som ich povolil?
  6. Ako zvonku overiť, ktoré AI crawlery Cloudflare pustí?
  7. Ako AISeeWhy kontroluje, čo Cloudflare posiela AI crawlerom?

Kde je v Cloudflare prehľad AI crawlerov?

V paneli vyberte svoj účet a doménu a otvorte AI Crawl Control. Cloudflare uvádza, že funguje bez konfigurácie a je dostupný vo všetkých plánoch, pokiaľ návštevnosť vašej domény prechádza cez proxy Cloudflare. Má štyri časti:

Pri čítaní čísel sú dôležité dve obmedzenia plánov. V pláne Free AI Crawl Control rozpoznáva crawlery len podľa reťazca user agenta, takže vidí crawlery, ktoré sa samy ohlásia, a nič iné, a karta Metrics pokrýva posledných 24 hodín. Platené plány pridávajú detekciu cez detection ID z Bot Management a Enterprise s Bot Management má nastaviteľné časové obdobia.

Čo znamená každý stĺpec a metrika v prehľade AI Crawl Control?

Cloudflare polia dokumentuje takto. Definície sú dôležité, pretože viaceré čísla počítajú viac, než by ste čakali.

Prehľad čítajte od akcie, ktorú ste zvolili. Crawler nastavený na Allow by mal ukazovať najmä povolené požiadavky a kódy 2xx. Ak ukazuje veľa neúspešných požiadaviek, otvorte rozdelenie stavových kódov vyfiltrované na tento crawler a v Security Analytics nájdite pravidlo, ktoré odpovedalo.

Ako v Cloudflare povoliť AI vyhľadávacie crawlery a zablokovať tréningové?

Dá sa to po jednotlivých crawleroch alebo podľa správania. Pri jednotlivých crawleroch otvorte AI Crawl Control a pre každý riadok nastavte Action. Cloudflare uvádza, že blokovanie tam vytvorí alebo aktualizuje vlastné pravidlo WAF vo vašej zóne, ktoré môžete vo WAF rozšíriť o výnimky pre cesty. V platených plánoch môžete zvoliť, či zablokované crawlery dostanú 403 alebo 402, a nastaviť textové telo odpovede.

Podľa správania prejdite do Security, potom Settings, vyfiltrujte Bot traffic a otvorte AI Crawler and Agent access policies. Cloudflare delí AI návštevnosť do troch správaní a každá zásada platí pre overené boty s daným správaním a pre zodpovedajúce neoverené boty:

Každé správanie môžete nastaviť na Block, Block on pages with ads alebo Allow (do not block). Training má navyše Disallow, ktoré crawlery len žiada cez robots.txt. So zapnutým Bot Preference Sync Cloudflare pridá na začiatok vášho robots.txt spravované pravidlá, ktoré zakazujú Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot a meta-externalagent, pridá riadok Content Signals a tréningové AI crawlery zablokuje aj na okraji siete, okrem crawlerov používaných na vyhľadávanie aj trénovanie.

Pre väčšinu webov, ktoré chcú citácie v AI, je bezpečnou kombináciou Search a Agent na Allow a Training na Disallow, a potom jednotlivé akcie Block v AI Crawl Control pre čisto tréningové crawlery, ktoré chcete zastaviť na okraji siete.

Čo sa zmenilo v predvolených nastaveniach AI crawlerov v Cloudflare?

1. júla 2025 Cloudflare oznámil, že mení predvolené nastavenie na blokovanie AI crawlerov, pokiaľ tvorcom nezaplatia. 1. júla 2026 nahradil jediný prepínač Block AI bots samostatnými zásadami Search, Agent a Training opísanými vyššie, pre všetky plány vrátane Free. To isté oznámenie uviedlo, že nové domény pridané od 15. septembra 2026 budú mať Training a Agent zablokované na stránkach s reklamami a Search povolené.

Aktuálna dokumentácia zásad Cloudflare, naposledy aktualizovaná 2. novembra 2026, uvádza, že nové domény majú pre všetky tri správania predvolene Allow (do not block). Keďže stránky samotného Cloudflare v rôznych časoch opisovali rôzne predvolené nastavenia, pri svojej zóne sa nespoliehajte na žiadnu z nich: otvorte stránku zásad a pozrite sa, čo je nastavené.

Prečo Cloudflare stále blokuje AI crawlery, hoci som ich povolil?

Akcia Allow v AI Crawl Control len zastaví blokovanie zo strany AI Crawl Control. Na požiadavku stále pôsobia iné funkcie. Časté príčiny:

Ako zvonku overiť, ktoré AI crawlery Cloudflare pustí?

Vyžiadajte tú istú stránku s user agentom prehliadača a s user agentom každého crawlera a porovnajte stav a veľkosť. Reťazce OpenAI, Perplexity a Google nižšie sú tie, ktoré tieto firmy zverejňujú.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Riadok crawlera s 403, 429 alebo 503 alebo s oveľa menšou veľkosťou než riadok prehliadača znamená, že niečo pred vaším pôvodným serverom odpovedalo inak. V pláne Free AI Crawl Control rozpoznáva crawlery podľa user agenta, takže tento test je rozumnou kontrolou jeho blokovaní. Pravidlá založené na stave overeného bota alebo na skóre botov môžu s vašou požiadavkou zaobchádzať inak než so skutočným crawlerom, pretože prichádza z vašej IP adresy, nie zo zverejnených rozsahov prevádzkovateľa. Po teste nájdite svoje požiadavky v Security Analytics a pozrite sa, ktoré pravidlo sa uplatnilo.

Ako AISeeWhy kontroluje, čo Cloudflare posiela AI crawlerom?

Bezplatná kontrola AISeeWhy vyžiada vašu stránku ako 16 AI a vyhľadávacích crawlerov vedľa skutočného prehliadača, pre každý crawler uplatní váš robots.txt a rozpozná overovacie stránky firewallu, takže uvidíte, či výsledok v paneli Cloudflare zodpovedá tomu, čo crawlery naozaj dostanú.

Opravy tohto problému

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Je Cloudflare AI Crawl Control zadarmo?

Áno. Cloudflare uvádza AI Crawl Control ako dostupný vo všetkých plánoch. Plán Free rozpoznáva crawlery len podľa user agenta a v Metrics ukazuje posledných 24 hodín; údaje o odkazoch a vlastné odpovede pri blokovaní vyžadujú platený plán.

Čo sa stalo s Cloudflare AI Audit?

Bol premenovaný. Dokumentácia Cloudflare opisuje AI Crawl Control ako niekdajší AI Audit s rovnakým účelom: vidieť, ktoré AI crawlery prichádzajú, a pre každý nastaviť akciu.

Zmení blokovanie crawlera v AI Crawl Control môj robots.txt?

Nie. Akcia Block vytvorí alebo aktualizuje vlastné pravidlo WAF. robots.txt sa zmení len vtedy, ak pre Training použijete možnosť Disallow s Bot Preference Sync, ktorá pridá spravované pravidlá Cloudflare na začiatok vášho súboru.

Čo sa v Cloudflare počíta ako porušenie robots.txt?

Požiadavka AI crawlera na cestu, ktorú váš robots.txt zakazuje. Cloudflare porovnáva minulé požiadavky s vašimi aktuálnymi pravidlami, takže nové pravidlo môže označiť staršie požiadavky, ktoré boli v tom čase povolené.

Čo je pay per crawl?

Akcia Charge, ktorá od AI crawlerov žiada platbu za každú požiadavku a inak odpovedá kódom HTTP 402 s cenou. Cloudflare ju opisuje ako uzavretú betu a blokovania z WAF alebo Bot Management majú pred ňou prednosť.

Zdroje

Ďalšie články