Kako brati poročilo AI Crawl Control v Cloudflare in videti, kateri pajki UI pridejo noter
V nadzorni plošči Cloudflare odprite AI Crawl Control: seznam pajkov prikazuje vsakega pajka UI, ki ga je Cloudflare videl na vaši domeni, njegove zahteve, kršitve robots.txt in ali je njegovo dejanje Allow ali Block. Če želite ohraniti iskanje z UI in zavrniti učenje, tam ali v pravilnikih AI Crawler and Agent access policies dovolite pajke za iskanje in agente ter blokirajte ali prepovejte pajke za učenje. Nato rezultat potrdite od zunaj s curl, ker lahko druge funkcije Cloudflare še vedno blokirajo pajka, ki ste ga dovolili.
Cloudflare ima zdaj dve mesti, ki odločata, kaj prejmejo pajki UI: AI Crawl Control, poročilo in stikalno ploščo po pajkih, ki se je prej imenovala AI Audit, ter pravilnike AI Crawler and Agent access policies za celotno cono pod varnostnimi nastavitvami. Oboje je na voljo v paketu Free, oboje se je med letom 2026 spremenilo in nobeno ne pove ničesar o vseh drugih funkcijah, ki lahko pajku še vedno odgovorijo z napako 403. Ta vodnik gre skozi poročilo stolpec za stolpcem, pokaže, kje nastavite dovoljenje in blokado, in se konča s preizkusom, ki ga lahko zaženete na svojem računalniku.
Na tej strani
- Kje je poročilo o pajkih UI v Cloudflare?
- Kaj pomeni vsak stolpec in metrika v poročilu AI Crawl Control?
- Kako v Cloudflare dovolim pajke za iskanje z UI in blokiram pajke za učenje?
- Kaj se je spremenilo pri Cloudflarovih privzetih nastavitvah za pajke UI?
- Zakaj Cloudflare še vedno blokira pajke UI, potem ko sem jih dovolil?
- Kako od zunaj potrdim, katere pajke UI Cloudflare spusti noter?
- Kako AISeeWhy preveri, kaj Cloudflare pošlje pajkom UI?
Kje je poročilo o pajkih UI v Cloudflare?
V nadzorni plošči izberite račun in domeno, nato odprite AI Crawl Control. Cloudflare pravi, da deluje brez nastavljanja in je na voljo v vseh paketih, če promet vaše domene teče prek posrednika Cloudflare. Ima štiri področja:
- Overview: povzetek s skupnim številom zahtev, spremembo obsega, najpogostejšo kodo stanja, najbolj priljubljeno potjo in pajki z velikim obsegom, ter podatek, ali je Cloudflarov upravljani robots.txt vklopljen, in pajki, razvrščeni po upravljavcu, kot so OpenAI, Microsoft, Google, ByteDance, Anthropic in Meta.
- Seznam pajkov: ena vrstica za vsakega pajka UI s stolpcem Action, kjer izberete Allow ali Block. Cloudflarova dokumentacija ta zavihek na eni strani imenuje Crawlers, na drugi Security, zato poiščite tabelo s stolpcem Action.
- Metrics: zahteve skozi čas, porazdelitev kod stanja, oblika vsebine, najbolj priljubljene poti in v plačljivih paketih priporočila. Filtri pokrivajo časovno obdobje, pajka, upravljavca, ime gostitelja in pot, podatke pa lahko izvozite v CSV.
- Directives: stanje vaše datoteke robots.txt in seznam kršitev robots.txt.
Pri branju številk sta pomembni dve omejitvi paketov. V paketu Free AI Crawl Control prepozna pajke samo po nizu user agent, zato vidi le pajke, ki se predstavijo, in nič drugega, zavihek Metrics pa pokriva zadnjih 24 ur. Plačljivi paketi dodajo zaznavanje prek ID-ja zaznave Bot Management, Enterprise z Bot Management pa dobi nastavljiva časovna obdobja.
Kaj pomeni vsak stolpec in metrika v poročilu AI Crawl Control?
Cloudflare polja dokumentira takole. Opredelitve so pomembne, ker več številk šteje več, kot bi pričakovali.
- Crawler in Category: ime pajka, njegov upravljavec in kategorija, na primer pajek UI, asistent UI ali arhivar.
- Requests: dovoljene in neuspešne zahteve skupaj, z grafom trenda. Neuspešne zahteve lahko izvirajo iz katerega koli pravila ali napake odziva, ne le iz blokade AI Crawl Control, zato visoko število pri pajku, ki ste ga dovolili, kaže na drugo pravilo ali na napake na vašem izvornem strežniku.
- Allowed requests: zahteve, ki so prejele status med 200 in 299. Prenos podatkov se meri iz bajtov, ki jih je Cloudflare poslal za dovoljene zahteve.
- Robots.txt violations: kolikokrat je pajek zahteval pot, ki jo vaš robots.txt prepoveduje. Cloudflare pretekle zahteve primerja z vašimi trenutnimi pravili, zato lahko pravilo, ki ga dodate danes, označi zahteve, ki so bile ob izvedbi dovoljene.
- Action: Allow, Block ali, za račune v beta različici pay per crawl, Charge.
- Porazdelitev kod stanja: 2xx, 3xx, 4xx in 5xx. Skupina 4xx vključuje 403 iz blokad in 402 iz pay per crawl.
- Priporočila in glavni napotitelji, samo v plačljivih paketih: obiski, ki so prišli iz storitev UI, na primer s chatgpt.com, in strani, na katerih so pristali.
Poročilo berite glede na dejanje, ki ste ga izbrali. Pajek z nastavitvijo Allow bi moral kazati večinoma dovoljene zahteve in kode 2xx. Če kaže veliko neuspešnih zahtev, odprite porazdelitev kod stanja, filtrirano na tega pajka, in v Security Analytics poiščite pravilo, ki je odgovorilo.
Kako v Cloudflare dovolim pajke za iskanje z UI in blokiram pajke za učenje?
To lahko naredite po pajkih ali po vedenju. Po pajkih odprite AI Crawl Control in za vsako vrstico nastavite Action. Cloudflare pravi, da blokada tam ustvari ali posodobi pravilo WAF po meri v vaši coni, ki ga lahko v WAF razširite z izjemami za poti. V plačljivih paketih lahko izberete, ali blokirani pajki dobijo 403 ali 402, in nastavite telo odziva v navadnem besedilu.
Po vedenju pojdite v Security, nato Settings, filtrirajte po Bot traffic in odprite AI Crawler and Agent access policies. Cloudflare promet UI razvrsti v tri vedenja, vsak pravilnik pa velja za preverjene bote s tem vedenjem in za ustrezne nepreverjene bote:
- Search: zbiranje ali indeksiranje vsebine, da lahko pozneje odgovarja na vprašanja.
- Agent: delovanje v realnem času v imenu osebe, na primer prenosi iz klepeta in agenti v brskalniku.
- Training: zbiranje vsebine za učenje ali dodatno učenje modelov, vključno s pajki, ki se uporabljajo za učenje in iskanje hkrati.
Vsako vedenje lahko nastavite na Block, Block on pages with ads ali Allow (do not block). Training ima tudi Disallow, ki pajke samo prosi prek robots.txt. Z vklopljeno funkcijo Bot Preference Sync Cloudflare na začetek vašega robots.txt doda upravljana pravila, ki prepovedujejo Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot in meta-externalagent, doda vrstico Content Signals in pajke za učenje UI blokira tudi na robu, razen pajkov, ki se uporabljajo za iskanje in učenje hkrati.
Za večino mest, ki želijo citate UI, je varna kombinacija Search in Agent na Allow ter Training na Disallow, nato pa posamezna dejanja Block v AI Crawl Control za pajke, namenjene samo učenju, ki jih želite ustaviti na robu.
Kaj se je spremenilo pri Cloudflarovih privzetih nastavitvah za pajke UI?
1. julija 2025 je Cloudflare napovedal, da bo privzeto blokiral pajke UI, razen če plačajo ustvarjalcem. 1. julija 2026 je eno samo stikalo Block AI bots nadomestil z ločenimi pravilniki Search, Agent in Training, opisanimi zgoraj, za vse pakete, tudi Free. Ista napoved je navajala, da bodo nove domene, dodane od 15. septembra 2026, imele Training in Agent blokirana na straneh z oglasi, Search pa dovoljen.
Cloudflarova trenutna dokumentacija pravilnikov, nazadnje posodobljena 2. novembra 2026, pravi, da imajo nove domene privzeto Allow (do not block) za vsa tri vedenja. Ker so Cloudflarove lastne strani ob različnih časih opisovale različne privzete nastavitve, se za svojo cono ne zanašajte na nobeno od njih: odprite stran pravilnikov in preberite, kaj je nastavljeno.
Zakaj Cloudflare še vedno blokira pajke UI, potem ko sem jih dovolil?
Dejanje Allow v AI Crawl Control samo prepreči, da bi AI Crawl Control blokiral. Druge funkcije še vedno delujejo na zahtevo. Pogosti vzroki:
- Blokiranje Training blokira tudi pajke za iskanje, ki počnejo oboje. Cloudflarova dokumentacija pravi, da dejanja Training veljajo za pajke z mešanim namenom, njegova napoved iz julija 2026 pa kot pajke, ki jih bodo stranke z blokiranim Training od 15. septembra 2026 blokirale, navaja Googlebot, Applebot in bingbot. Disallow je ožja izbira, ker njegova blokada na robu pajke z mešanim namenom preskoči.
- Vklopljen je Bot Fight Mode. Cloudflare navaja, da Bot Fight Mode ni mogoče obiti ali preskočiti s pravili WAF po meri ali Page Rules. Če pajku postavlja izzive, ga izklopite ali v paketu, ki ga ima, uporabite Super Bot Fight Mode, ki podpira pravila za preskok.
- Starejše pravilo WAF po meri blokira user agente, ki vsebujejo
bot, ali pravilo za omejevanje hitrosti na izbruhe odgovori z 429. Ta delujejo ne glede na Action v AI Crawl Control. - Pravilo blokade je bilo ročno urejeno. Če je bilo pravilo WAF za AI Crawl Control spremenjeno na drugo odzivno kodo, nadzorna plošča vaše izbire ne more več uveljaviti.
- robots.txt pajka še vedno prepoveduje. Cloudflarov Allow ne spremeni vašega robots.txt, zato se vljuden pajek vseeno ne približa. V naši raziskavi 1000 najbolj priljubljenih domen je 98 od 155 mest, ki so v robots.txt blokirala pajka za učenje UI, blokiralo tudi vsaj enega pajka UI za iskanje ali uporabniškega pajka.
Kako od zunaj potrdim, katere pajke UI Cloudflare spusti noter?
Isto stran zahtevajte z user agentom brskalnika in z user agentom vsakega pajka, nato primerjajte status in velikost. Spodnji nizi OpenAI, Perplexity in Google so tisti, ki jih ta podjetja objavljajo.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Vrstica pajka z 403, 429 ali 503 ali z veliko manjšo velikostjo kot vrstica brskalnika pomeni, da je nekaj pred vašim izvornim strežnikom odgovorilo drugače. V paketu Free AI Crawl Control pajke zaznava po user agentu, zato je ta preizkus razumno preverjanje njegovih blokad. Pravila na podlagi stanja preverjenega bota ali ocen botov lahko vašo zahtevo obravnavajo drugače kot pravega pajka, ker prihaja z vašega naslova IP in ne iz objavljenih obsegov upravljavca. Po preizkusu poiščite svoje zahteve v Security Analytics, da vidite, katero pravilo se je ujemalo.
Kako AISeeWhy preveri, kaj Cloudflare pošlje pajkom UI?
Brezplačna analiza AISeeWhy vašo stran zahteva kot 16 pajkov UI in iskalnikov ob pravem brskalniku, za vsakega pajka uporabi vaš robots.txt in prepozna strani z izzivom požarnega zidu, tako da vidite, ali se rezultat v Cloudflarovi nadzorni plošči ujema s tem, kar pajki dejansko prejmejo.
Popravki za to težavo
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali je Cloudflare AI Crawl Control brezplačen?
Da. Cloudflare navaja, da je AI Crawl Control na voljo v vseh paketih. Paket Free pajke zaznava samo po user agentu in v Metrics prikazuje zadnjih 24 ur; podatki o priporočilih in odzivi blokad po meri zahtevajo plačljiv paket.
Kaj se je zgodilo s Cloudflare AI Audit?
Preimenovan je bil. Cloudflarova dokumentacija AI Crawl Control opisuje kot nekdanji AI Audit z enakim namenom: videti, kateri pajki UI obiskujejo mesto, in za vsakega nastaviti dejanje.
Ali blokada pajka v AI Crawl Control spremeni moj robots.txt?
Ne. Dejanje Block ustvari ali posodobi pravilo WAF po meri. robots.txt se spremeni samo, če za Training uporabite možnost Disallow z Bot Preference Sync, ki na začetek vaše datoteke doda Cloudflarova upravljana pravila.
Kaj v Cloudflare šteje kot kršitev robots.txt?
Zahteva pajka UI za pot, ki jo vaš robots.txt prepoveduje. Cloudflare pretekle zahteve primerja z vašimi trenutnimi pravili, zato lahko novo pravilo označi starejše zahteve, ki so bile takrat dovoljene.
Kaj je pay per crawl?
Dejanje Charge, ki od pajkov UI zahteva plačilo za vsako zahtevo, sicer odgovori s HTTP 402 in ceno. Cloudflare ga opisuje kot zaprto beta različico, blokade WAF ali Bot Management pa imajo prednost pred njim.
Viri
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: poročilo o dostopu pajkov UI, 2026-11