Kako čitati Cloudflareovo izvješće AI Crawl Control i vidjeti koji AI crawleri prolaze
Otvorite AI Crawl Control na Cloudflareovoj nadzornoj ploči: popis crawlera prikazuje svaki AI crawler koji je Cloudflare vidio na vašoj domeni, njegove zahtjeve, kršenja robots.txt i je li mu radnja Allow ili Block. Da biste zadržali AI pretraživanje i odbili treniranje, dopustite crawlere za pretraživanje i agente, a crawlere za treniranje blokirajte ili zabranite (Disallow) ondje ili u AI Crawler and Agent access policies. Zatim rezultat potvrdite izvana s curl, jer druge Cloudflareove značajke i dalje mogu blokirati crawler koji ste dopustili.
Cloudflare sada ima dva mjesta koja odlučuju što AI crawleri dobivaju: AI Crawl Control, izvješće i upravljačku ploču po crawleru koja se prije zvala AI Audit, te AI Crawler and Agent access policies na razini cijele zone u postavkama Security. Oba su dostupna na planu Free, oba su se mijenjala tijekom 2026., a nijedno vam ne govori o svim drugim značajkama koje crawleru i dalje mogu odgovoriti kodom 403. Ovaj vodič prolazi kroz izvješće stupac po stupac, pokazuje gdje se postavljaju dopuštanje i blokiranje i završava testom koji možete pokrenuti sa svojeg računala.
Na ovoj stranici
- Gdje je izvješće o AI crawlerima u Cloudflareu?
- Što znači svaki stupac i metrika u izvješću AI Crawl Control?
- Kako u Cloudflareu dopustiti AI crawlere za pretraživanje i blokirati crawlere za treniranje?
- Što se promijenilo u Cloudflareovim zadanim postavkama za AI crawlere?
- Zašto Cloudflare i dalje blokira AI crawlere nakon što sam ih dopustio?
- Kako izvana potvrditi koje AI crawlere Cloudflare propušta?
- Kako AISeeWhy provjerava što Cloudflare šalje AI crawlerima?
Gdje je izvješće o AI crawlerima u Cloudflareu?
Na nadzornoj ploči odaberite račun i domenu, a zatim otvorite AI Crawl Control. Cloudflare navodi da radi bez konfiguracije i da je dostupan na svim planovima, pod uvjetom da promet vaše domene ide preko Cloudflareova proxyja. Ima četiri područja:
- Overview: sažetak za upravu s ukupnim brojem zahtjeva, promjenom obujma, najčešćim statusnim kodom, najpopularnijom putanjom i crawlerima s velikim prometom, uz podatak je li uključen robots.txt kojim upravlja Cloudflare, te crawleri grupirani po operateru, kao što su OpenAI, Microsoft, Google, ByteDance, Anthropic i Meta.
- Popis crawlera: jedan redak po AI crawleru, sa stupcem Action u kojem birate Allow ili Block. Cloudflareova dokumentacija tu karticu na jednoj stranici zove Crawlers, a na drugoj Security, pa tražite tablicu sa stupcem Action.
- Metrics: zahtjevi kroz vrijeme, raspodjela statusnih kodova, format sadržaja, najpopularnije putanje i, na plaćenim planovima, preporuke. Filtri pokrivaju raspon datuma, crawler, operatera, naziv hosta i putanju, a podatke možete izvesti u CSV.
- Directives: stanje vaše datoteke robots.txt i popis kršenja robots.txt.
Pri čitanju brojki važna su dva ograničenja plana. Na planu Free AI Crawl Control prepoznaje crawlere samo po nizu user agenta, pa vidi samo crawlere koji se predstavljaju, a kartica Metrics pokriva zadnja 24 sata. Plaćeni planovi dodaju otkrivanje putem detection ID-ja Bot Managementa, a Enterprise s Bot Managementom dobiva prilagodljiva vremenska razdoblja.
Što znači svaki stupac i metrika u izvješću AI Crawl Control?
Cloudflare polja dokumentira na sljedeći način. Definicije su važne jer nekoliko brojki broji više nego što biste očekivali.
- Crawler i Category: naziv crawlera, njegov operater i kategorija, poput AI crawler, AI assistant ili archiver.
- Requests: dopušteni plus neuspješni zahtjevi, s grafikonom trenda. Neuspješni zahtjevi mogu doći od bilo kojeg pravila ili pogreške u odgovoru, ne samo od blokade u AI Crawl Controlu, pa velik broj za crawler koji ste dopustili upućuje na neko drugo pravilo ili na pogreške na vašem izvornom poslužitelju.
- Allowed requests: zahtjevi koji su dobili status između 200 i 299. Prijenos podataka mjeri se iz bajtova koje je Cloudflare poslao za dopuštene zahtjeve.
- Robots.txt violations: koliko je puta crawler zatražio putanju koju vaš robots.txt zabranjuje. Cloudflare prošle zahtjeve uspoređuje s vašim trenutačnim pravilima, pa pravilo koje dodate danas može označiti zahtjeve koji su bili dopušteni kad su upućeni.
- Action: Allow, Block ili, za račune u beta verziji pay per crawl, Charge.
- Raspodjela statusnih kodova: 2xx, 3xx, 4xx i 5xx. Grupa 4xx uključuje 403 zbog blokada i 402 zbog pay per crawl.
- Referrals i top referrers, samo na plaćenim planovima: posjeti koji su stigli s AI usluga, na primjer s chatgpt.com, i stranice na koje su stigli.
Izvješće čitajte polazeći od radnje koju ste odabrali. Crawler postavljen na Allow trebao bi pokazivati uglavnom dopuštene zahtjeve i kodove 2xx. Ako pokazuje mnogo neuspješnih zahtjeva, otvorite raspodjelu statusnih kodova filtriranu na taj crawler i provjerite Security Analytics kako biste pronašli pravilo koje je odgovorilo.
Kako u Cloudflareu dopustiti AI crawlere za pretraživanje i blokirati crawlere za treniranje?
To možete napraviti po crawleru ili prema ponašanju. Po crawleru: otvorite AI Crawl Control i postavite Action za svaki redak. Cloudflare navodi da blokiranje ondje stvara ili ažurira prilagođeno pravilo WAF-a (WAF custom rule) u vašoj zoni, koje u WAF-u možete proširiti iznimkama za putanje. Na plaćenim planovima možete odabrati dobivaju li blokirani crawleri 403 ili 402 i postaviti tijelo odgovora u običnom tekstu.
Prema ponašanju: idite na Security, zatim Settings, filtrirajte po Bot traffic i otvorite AI Crawler and Agent access policies. Cloudflare AI promet razvrstava u tri ponašanja, a svako pravilo vrijedi za verificirane botove s tim ponašanjem i za odgovarajuće neverificirane botove:
- Search: prikupljanje ili indeksiranje sadržaja kako bi kasnije mogao odgovarati na pitanja.
- Agent: djelovanje u stvarnom vremenu u ime osobe, poput dohvaćanja u razgovoru i agenata u pregledniku.
- Training: prikupljanje sadržaja za treniranje ili fino podešavanje modela, uključujući crawlere koji se koriste i za treniranje i za pretraživanje.
Svako se ponašanje može postaviti na Block, Block on pages with ads ili Allow (do not block). Training ima i Disallow, koji crawlere samo moli putem robots.txt. Kad je uključen Bot Preference Sync, Cloudflare na početak vašeg robots.txt dodaje upravljana pravila koja zabranjuju Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot i meta-externalagent, dodaje redak Content Signals i blokira AI crawlere za treniranje i na rubu mreže, osim crawlera koji se koriste i za pretraživanje i za treniranje.
Za većinu web-stranica koje žele AI citate sigurna je kombinacija Search i Agent na Allow, a Training na Disallow, uz pojedinačne radnje Block u AI Crawl Controlu za crawlere samo za treniranje koje želite zaustaviti na rubu mreže.
Što se promijenilo u Cloudflareovim zadanim postavkama za AI crawlere?
Cloudflare je 1. srpnja 2025. najavio promjenu zadane postavke na blokiranje AI crawlera, osim ako plaćaju autorima. Dana 1. srpnja 2026. zamijenio je jedinstveni prekidač Block AI bots zasebnim pravilima Search, Agent i Training opisanima gore, za sve planove uključujući Free. Ista najava navodi da će nove domene koje se uključe od 15. rujna 2026. imati Training i Agent blokirane na stranicama koje prikazuju oglase, a Search dopušten.
Cloudflareova aktualna dokumentacija o pravilima, zadnji put ažurirana 2. studenoga 2026., navodi da su nove domene prema zadanim postavkama na Allow (do not block) za sva tri ponašanja. Budući da su Cloudflareove vlastite stranice u različito vrijeme opisivale različite zadane postavke, ni na jednu se ne oslanjajte za svoju zonu: otvorite stranicu s pravilima i pogledajte što je postavljeno.
Zašto Cloudflare i dalje blokira AI crawlere nakon što sam ih dopustio?
Radnja Allow u AI Crawl Controlu samo sprječava da AI Crawl Control blokira. Druge značajke i dalje djeluju na zahtjev. Česti uzroci:
- Blokiranje Traininga blokira i crawlere za pretraživanje koji rade oboje. Cloudflareova dokumentacija navodi da se radnje za Training primjenjuju na crawlere mješovite namjene, a njegova najava iz srpnja 2026. navodi Googlebot, Applebot i bingbot kao crawlere koje će korisnici koji blokiraju Training blokirati od 15. rujna 2026. Disallow je uži izbor, jer njegova blokada na rubu mreže preskače crawlere mješovite namjene.
- Uključen je Bot Fight Mode. Cloudflare navodi da Bot Fight Mode ne možete zaobići ni preskočiti prilagođenim pravilima WAF-a ni Page Rulesima. Ako postavlja provjeru crawleru, isključite ga ili, na planu koji ga ima, koristite Super Bot Fight Mode, koji podržava pravila preskakanja.
- Starije prilagođeno pravilo WAF-a blokira user agente koji sadrže
botili pravilo ograničenja brzine na nalete odgovara kodom 429. Ta se pravila izvršavaju bez obzira na Action u AI Crawl Controlu. - Pravilo blokiranja ručno je uređeno. Ako je pravilo WAF-a iza AI Crawl Controla promijenjeno na drugi kod odgovora, nadzorna ploča više ne može provoditi vaš odabir.
- robots.txt i dalje zabranjuje crawler. Cloudflareov Allow ne mijenja vaš robots.txt, pa se pristojan crawler svejedno drži podalje. U našem istraživanju 1.000 najpopularnijih domena, 98 od 155 web-stranica koje su u robots.txt blokirale AI crawler za treniranje blokiralo je i barem jedan AI crawler za pretraživanje ili korisnički crawler.
Kako izvana potvrditi koje AI crawlere Cloudflare propušta?
Zatražite istu stranicu s user agentom preglednika i s user agentom svakog crawlera, a zatim usporedite status i veličinu. Nizovi za OpenAI, Perplexity i Google u nastavku su oni koje te tvrtke objavljuju.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Redak crawlera s 403, 429 ili 503, ili s mnogo manjom veličinom od retka preglednika, znači da je nešto ispred vašeg izvornog poslužitelja odgovorilo drukčije. Na planu Free AI Crawl Control prepoznaje crawlere po user agentu, pa je ovaj test razumna provjera njegovih blokada. Pravila koja se temelje na statusu verificiranog bota ili ocjeni bota mogu vaš zahtjev tretirati drukčije od pravog crawlera, jer dolazi s vaše IP adrese, a ne iz raspona koje operater objavljuje. Nakon testiranja potražite svoje zahtjeve u Security Analytics da vidite koje je pravilo odgovaralo.
Kako AISeeWhy provjerava što Cloudflare šalje AI crawlerima?
Besplatna provjera AISeeWhy traži vašu stranicu kao 16 AI crawlera i crawlera tražilica uz pravi preglednik, primjenjuje vaš robots.txt za svaki crawler i prepoznaje stranice s provjerom vatrozida, tako da vidite odgovara li rezultat na Cloudflareovoj nadzornoj ploči onome što crawleri doista dobivaju.
Ispravci za ovaj problem
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Je li Cloudflare AI Crawl Control besplatan?
Da. Cloudflare navodi da je AI Crawl Control dostupan na svim planovima. Plan Free prepoznaje crawlere samo po user agentu i u Metrics prikazuje zadnja 24 sata; podaci o preporukama i prilagođeni odgovori na blokadu zahtijevaju plaćeni plan.
Što se dogodilo s Cloudflare AI Auditom?
Preimenovan je. Cloudflareova dokumentacija opisuje AI Crawl Control kao nekadašnji AI Audit, s istom svrhom: vidjeti koji AI crawleri dolaze i postaviti radnju za svaki.
Mijenja li blokiranje crawlera u AI Crawl Controlu moj robots.txt?
Ne. Radnja Block stvara ili ažurira prilagođeno pravilo WAF-a. robots.txt se mijenja samo ako za Training koristite opciju Disallow s Bot Preference Syncom, koji na početak vaše datoteke dodaje Cloudflareova upravljana pravila.
Što se u Cloudflareu smatra kršenjem robots.txt?
Zahtjev AI crawlera za putanju koju vaš robots.txt zabranjuje. Cloudflare prošle zahtjeve uspoređuje s trenutačnim pravilima, pa novo pravilo može označiti starije zahtjeve koji su u to vrijeme bili dopušteni.
Što je pay per crawl?
Radnja Charge koja od AI crawlera traži plaćanje po zahtjevu, a u suprotnom odgovara kodom HTTP 402 i cijenom. Cloudflare je opisuje kao zatvorenu beta verziju, a blokade WAF-a ili Bot Managementa imaju prednost pred njom.
Izvori
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11