Kako brati poročilo AI Crawl Control v Cloudflare in videti, kateri pajki UI pridejo noter

Objavljeno

Kratek odgovor

V nadzorni plošči Cloudflare odprite AI Crawl Control: seznam pajkov prikazuje vsakega pajka UI, ki ga je Cloudflare videl na vaši domeni, njegove zahteve, kršitve robots.txt in ali je njegovo dejanje Allow ali Block. Če želite ohraniti iskanje z UI in zavrniti učenje, tam ali v pravilnikih AI Crawler and Agent access policies dovolite pajke za iskanje in agente ter blokirajte ali prepovejte pajke za učenje. Nato rezultat potrdite od zunaj s curl, ker lahko druge funkcije Cloudflare še vedno blokirajo pajka, ki ste ga dovolili.

Cloudflare ima zdaj dve mesti, ki odločata, kaj prejmejo pajki UI: AI Crawl Control, poročilo in stikalno ploščo po pajkih, ki se je prej imenovala AI Audit, ter pravilnike AI Crawler and Agent access policies za celotno cono pod varnostnimi nastavitvami. Oboje je na voljo v paketu Free, oboje se je med letom 2026 spremenilo in nobeno ne pove ničesar o vseh drugih funkcijah, ki lahko pajku še vedno odgovorijo z napako 403. Ta vodnik gre skozi poročilo stolpec za stolpcem, pokaže, kje nastavite dovoljenje in blokado, in se konča s preizkusom, ki ga lahko zaženete na svojem računalniku.

Na tej strani
  1. Kje je poročilo o pajkih UI v Cloudflare?
  2. Kaj pomeni vsak stolpec in metrika v poročilu AI Crawl Control?
  3. Kako v Cloudflare dovolim pajke za iskanje z UI in blokiram pajke za učenje?
  4. Kaj se je spremenilo pri Cloudflarovih privzetih nastavitvah za pajke UI?
  5. Zakaj Cloudflare še vedno blokira pajke UI, potem ko sem jih dovolil?
  6. Kako od zunaj potrdim, katere pajke UI Cloudflare spusti noter?
  7. Kako AISeeWhy preveri, kaj Cloudflare pošlje pajkom UI?

Kje je poročilo o pajkih UI v Cloudflare?

V nadzorni plošči izberite račun in domeno, nato odprite AI Crawl Control. Cloudflare pravi, da deluje brez nastavljanja in je na voljo v vseh paketih, če promet vaše domene teče prek posrednika Cloudflare. Ima štiri področja:

Pri branju številk sta pomembni dve omejitvi paketov. V paketu Free AI Crawl Control prepozna pajke samo po nizu user agent, zato vidi le pajke, ki se predstavijo, in nič drugega, zavihek Metrics pa pokriva zadnjih 24 ur. Plačljivi paketi dodajo zaznavanje prek ID-ja zaznave Bot Management, Enterprise z Bot Management pa dobi nastavljiva časovna obdobja.

Kaj pomeni vsak stolpec in metrika v poročilu AI Crawl Control?

Cloudflare polja dokumentira takole. Opredelitve so pomembne, ker več številk šteje več, kot bi pričakovali.

Poročilo berite glede na dejanje, ki ste ga izbrali. Pajek z nastavitvijo Allow bi moral kazati večinoma dovoljene zahteve in kode 2xx. Če kaže veliko neuspešnih zahtev, odprite porazdelitev kod stanja, filtrirano na tega pajka, in v Security Analytics poiščite pravilo, ki je odgovorilo.

Kako v Cloudflare dovolim pajke za iskanje z UI in blokiram pajke za učenje?

To lahko naredite po pajkih ali po vedenju. Po pajkih odprite AI Crawl Control in za vsako vrstico nastavite Action. Cloudflare pravi, da blokada tam ustvari ali posodobi pravilo WAF po meri v vaši coni, ki ga lahko v WAF razširite z izjemami za poti. V plačljivih paketih lahko izberete, ali blokirani pajki dobijo 403 ali 402, in nastavite telo odziva v navadnem besedilu.

Po vedenju pojdite v Security, nato Settings, filtrirajte po Bot traffic in odprite AI Crawler and Agent access policies. Cloudflare promet UI razvrsti v tri vedenja, vsak pravilnik pa velja za preverjene bote s tem vedenjem in za ustrezne nepreverjene bote:

Vsako vedenje lahko nastavite na Block, Block on pages with ads ali Allow (do not block). Training ima tudi Disallow, ki pajke samo prosi prek robots.txt. Z vklopljeno funkcijo Bot Preference Sync Cloudflare na začetek vašega robots.txt doda upravljana pravila, ki prepovedujejo Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot in meta-externalagent, doda vrstico Content Signals in pajke za učenje UI blokira tudi na robu, razen pajkov, ki se uporabljajo za iskanje in učenje hkrati.

Za večino mest, ki želijo citate UI, je varna kombinacija Search in Agent na Allow ter Training na Disallow, nato pa posamezna dejanja Block v AI Crawl Control za pajke, namenjene samo učenju, ki jih želite ustaviti na robu.

Kaj se je spremenilo pri Cloudflarovih privzetih nastavitvah za pajke UI?

1. julija 2025 je Cloudflare napovedal, da bo privzeto blokiral pajke UI, razen če plačajo ustvarjalcem. 1. julija 2026 je eno samo stikalo Block AI bots nadomestil z ločenimi pravilniki Search, Agent in Training, opisanimi zgoraj, za vse pakete, tudi Free. Ista napoved je navajala, da bodo nove domene, dodane od 15. septembra 2026, imele Training in Agent blokirana na straneh z oglasi, Search pa dovoljen.

Cloudflarova trenutna dokumentacija pravilnikov, nazadnje posodobljena 2. novembra 2026, pravi, da imajo nove domene privzeto Allow (do not block) za vsa tri vedenja. Ker so Cloudflarove lastne strani ob različnih časih opisovale različne privzete nastavitve, se za svojo cono ne zanašajte na nobeno od njih: odprite stran pravilnikov in preberite, kaj je nastavljeno.

Zakaj Cloudflare še vedno blokira pajke UI, potem ko sem jih dovolil?

Dejanje Allow v AI Crawl Control samo prepreči, da bi AI Crawl Control blokiral. Druge funkcije še vedno delujejo na zahtevo. Pogosti vzroki:

Kako od zunaj potrdim, katere pajke UI Cloudflare spusti noter?

Isto stran zahtevajte z user agentom brskalnika in z user agentom vsakega pajka, nato primerjajte status in velikost. Spodnji nizi OpenAI, Perplexity in Google so tisti, ki jih ta podjetja objavljajo.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Vrstica pajka z 403, 429 ali 503 ali z veliko manjšo velikostjo kot vrstica brskalnika pomeni, da je nekaj pred vašim izvornim strežnikom odgovorilo drugače. V paketu Free AI Crawl Control pajke zaznava po user agentu, zato je ta preizkus razumno preverjanje njegovih blokad. Pravila na podlagi stanja preverjenega bota ali ocen botov lahko vašo zahtevo obravnavajo drugače kot pravega pajka, ker prihaja z vašega naslova IP in ne iz objavljenih obsegov upravljavca. Po preizkusu poiščite svoje zahteve v Security Analytics, da vidite, katero pravilo se je ujemalo.

Kako AISeeWhy preveri, kaj Cloudflare pošlje pajkom UI?

Brezplačna analiza AISeeWhy vašo stran zahteva kot 16 pajkov UI in iskalnikov ob pravem brskalniku, za vsakega pajka uporabi vaš robots.txt in prepozna strani z izzivom požarnega zidu, tako da vidite, ali se rezultat v Cloudflarovi nadzorni plošči ujema s tem, kar pajki dejansko prejmejo.

Popravki za to težavo

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali je Cloudflare AI Crawl Control brezplačen?

Da. Cloudflare navaja, da je AI Crawl Control na voljo v vseh paketih. Paket Free pajke zaznava samo po user agentu in v Metrics prikazuje zadnjih 24 ur; podatki o priporočilih in odzivi blokad po meri zahtevajo plačljiv paket.

Kaj se je zgodilo s Cloudflare AI Audit?

Preimenovan je bil. Cloudflarova dokumentacija AI Crawl Control opisuje kot nekdanji AI Audit z enakim namenom: videti, kateri pajki UI obiskujejo mesto, in za vsakega nastaviti dejanje.

Ali blokada pajka v AI Crawl Control spremeni moj robots.txt?

Ne. Dejanje Block ustvari ali posodobi pravilo WAF po meri. robots.txt se spremeni samo, če za Training uporabite možnost Disallow z Bot Preference Sync, ki na začetek vaše datoteke doda Cloudflarova upravljana pravila.

Kaj v Cloudflare šteje kot kršitev robots.txt?

Zahteva pajka UI za pot, ki jo vaš robots.txt prepoveduje. Cloudflare pretekle zahteve primerja z vašimi trenutnimi pravili, zato lahko novo pravilo označi starejše zahteve, ki so bile takrat dovoljene.

Kaj je pay per crawl?

Dejanje Charge, ki od pajkov UI zahteva plačilo za vsako zahtevo, sicer odgovori s HTTP 402 in ceno. Cloudflare ga opisuje kot zaprto beta različico, blokade WAF ali Bot Management pa imajo prednost pred njim.

Viri

Več člankov