Kaip skaityti Cloudflare AI Crawl Control ataskaitą ir matyti, kurie DI robotai patenka

Paskelbta

Trumpas atsakymas

Cloudflare skydelyje atidarykite AI Crawl Control: robotų sąraše matysite kiekvieną DI robotą, kurį Cloudflare užfiksavo jūsų domene, jo užklausas, robots.txt pažeidimus ir tai, ar jo veiksmas yra Allow, ar Block. Norėdami likti DI paieškoje, bet atsisakyti mokymo, ten arba skiltyje AI Crawler and Agent access policies leiskite paieškos robotus ir agentus, o mokymo robotus blokuokite arba uždrauskite. Tada patikrinkite iš išorės su curl, nes kitos Cloudflare funkcijos vis tiek gali blokuoti robotą, kurį leidote.

Cloudflare dabar turi dvi vietas, kurios lemia, ką gauna DI robotai: AI Crawl Control – ataskaitą ir valdymo skydelį kiekvienam robotui, anksčiau vadintą AI Audit, ir visai zonai taikomas AI Crawler and Agent access policies saugumo nustatymuose. Abi prieinamos nemokamame plane, abi keitėsi 2026 m., ir nė viena nepasako apie visas kitas funkcijas, kurios vis tiek gali robotui atsakyti 403. Šis vadovas pereina ataskaitą stulpelis po stulpelio, parodo, kur nustatyti leidimą ir blokavimą, ir baigiasi testu, kurį galite paleisti savo kompiuteryje.

Šiame puslapyje
  1. Kur Cloudflare yra DI robotų ataskaita?
  2. Ką reiškia kiekvienas AI Crawl Control ataskaitos stulpelis ir metrika?
  3. Kaip Cloudflare įleisti DI paieškos robotus ir blokuoti mokymo robotus?
  4. Kas pasikeitė Cloudflare numatytuosiuose DI robotų nustatymuose?
  5. Kodėl Cloudflare vis dar blokuoja DI robotus, nors juos leidau?
  6. Kaip iš išorės patikrinti, kuriuos DI robotus Cloudflare įleidžia?
  7. Kaip AISeeWhy tikrina, ką Cloudflare siunčia DI robotams?

Kur Cloudflare yra DI robotų ataskaita?

Skydelyje pasirinkite paskyrą ir domeną, tada atidarykite AI Crawl Control. Cloudflare teigia, kad jis veikia be konfigūravimo ir yra prieinamas visuose planuose, jei jūsų domeno srautas eina per Cloudflare tarpinį serverį. Jį sudaro keturios dalys:

Skaitant skaičius svarbūs du plano apribojimai. Nemokamame plane AI Crawl Control atpažįsta robotus tik pagal user agent eilutę, todėl mato tik save įvardijančius robotus, o skirtukas Metrics apima paskutines 24 valandas. Mokami planai prideda aptikimą per Bot Management detection ID, o Enterprise su Bot Management gauna konfigūruojamus laikotarpius.

Ką reiškia kiekvienas AI Crawl Control ataskaitos stulpelis ir metrika?

Cloudflare laukus dokumentuoja taip. Apibrėžimai svarbūs, nes keli skaičiai apima daugiau, nei galite tikėtis.

Ataskaitą skaitykite pagal pasirinktą veiksmą. Robotas, nustatytas į Allow, turėtų rodyti daugiausia leistas užklausas ir 2xx kodus. Jei jis rodo daug nesėkmingų užklausų, atidarykite būsenos kodų pasiskirstymą, filtruotą tam robotui, ir Security Analytics suraskite taisyklę, kuri atsakė.

Kaip Cloudflare įleisti DI paieškos robotus ir blokuoti mokymo robotus?

Tai galima daryti pagal robotą arba pagal elgseną. Pagal robotą: atidarykite AI Crawl Control ir kiekvienai eilutei nustatykite Action. Cloudflare teigia, kad blokavimas ten sukuria arba atnaujina WAF pasirinktinę taisyklę jūsų zonoje, kurią WAF galite papildyti kelių išimtimis. Mokamuose planuose galite pasirinkti, ar blokuoti robotai gaus 403, ar 402, ir nustatyti atsakymo tekstą paprastu tekstu.

Pagal elgseną: eikite į Security, tada Settings, filtruokite pagal Bot traffic ir atidarykite AI Crawler and Agent access policies. Cloudflare DI srautą skirsto į tris elgsenas, o kiekviena politika taikoma patvirtintiems robotams su ta elgsena ir atitinkantiems nepatvirtintiems robotams:

Kiekvieną elgseną galima nustatyti į Block, Block on pages with ads arba Allow (do not block). Training taip pat turi Disallow, kuris robotų tik paprašo per robots.txt. Įjungus Bot Preference Sync, Cloudflare jūsų robots.txt pradžioje prideda valdomas taisykles, draudžiančias Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ir meta-externalagent, prideda Content Signals eilutę ir DI mokymo robotus blokuoja dar ir tinklo pakraštyje, išskyrus robotus, naudojamus ir paieškai, ir mokymui.

Daugumai svetainių, norinčių DI citatų, saugus derinys yra Search ir Agent nustatyti į Allow, Training – į Disallow, o tada atskiri Block veiksmai AI Crawl Control tik mokymui skirtiems robotams, kuriuos norite sustabdyti tinklo pakraštyje.

Kas pasikeitė Cloudflare numatytuosiuose DI robotų nustatymuose?

2025 m. liepos 1 d. Cloudflare paskelbė keičianti numatytąjį nustatymą ir blokuosianti DI robotus, nebent jie moka kūrėjams. 2026 m. liepos 1 d. vieną jungiklį Block AI bots ji pakeitė atskiromis aukščiau aprašytomis Search, Agent ir Training politikomis visuose planuose, įskaitant nemokamą. Tame pačiame pranešime teigta, kad naujiems domenams, prijungtiems nuo 2026 m. rugsėjo 15 d., Training ir Agent bus blokuojami puslapiuose su reklama, o Search leidžiamas.

Dabartinė Cloudflare politikų dokumentacija, paskutinį kartą atnaujinta 2026 m. lapkričio 2 d., teigia, kad naujiems domenams visoms trims elgsenoms numatyta Allow (do not block). Kadangi pačios Cloudflare puslapiai skirtingu metu aprašė skirtingus numatytuosius nustatymus, savo zonai nepasikliaukite nė vienu iš jų: atidarykite politikų puslapį ir perskaitykite, kas nustatyta.

Kodėl Cloudflare vis dar blokuoja DI robotus, nors juos leidau?

Veiksmas Allow AI Crawl Control tik neleidžia blokuoti pačiam AI Crawl Control. Kitos funkcijos vis tiek veikia užklausą. Dažnos priežastys:

Kaip iš išorės patikrinti, kuriuos DI robotus Cloudflare įleidžia?

Užklauskite to paties puslapio su naršyklės user agent ir su kiekvieno roboto user agent, tada palyginkite būseną ir dydį. Toliau pateiktos OpenAI, Perplexity ir Google eilutės yra tos, kurias skelbia šios įmonės.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Roboto eilutė su 403, 429 ar 503 arba gerokai mažesniu dydžiu nei naršyklės eilutė reiškia, kad kažkas prieš jūsų pradinį serverį atsakė kitaip. Nemokamame plane AI Crawl Control robotus atpažįsta pagal user agent, todėl šis testas yra pagrįstas jo blokavimų patikrinimas. Taisyklės, pagrįstos patvirtinto roboto būsena ar bot score, gali jūsų užklausą traktuoti kitaip nei tikrą robotą, nes ji ateina iš jūsų IP adreso, o ne iš operatoriaus paskelbtų intervalų. Po testo Security Analytics suraskite savo užklausas ir pažiūrėkite, kuri taisyklė suveikė.

Kaip AISeeWhy tikrina, ką Cloudflare siunčia DI robotams?

Nemokama AISeeWhy patikra užklausia jūsų puslapio kaip 16 DI ir paieškos robotų šalia tikros naršyklės, kiekvienam robotui pritaiko jūsų robots.txt ir atpažįsta ugniasienės patikrinimo puslapius, todėl galite pamatyti, ar rezultatas Cloudflare skydelyje sutampa su tuo, ką robotai iš tikrųjų gauna.

Šios problemos pataisymai

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar Cloudflare AI Crawl Control nemokamas?

Taip. Cloudflare nurodo, kad AI Crawl Control prieinamas visuose planuose. Nemokamas planas robotus atpažįsta tik pagal user agent ir Metrics rodo paskutines 24 valandas; nukreipimų duomenims ir pasirinktiniams blokavimo atsakymams reikia mokamo plano.

Kas nutiko Cloudflare AI Audit?

Jis pervadintas. Cloudflare dokumentacija AI Crawl Control aprašo kaip buvusį AI Audit su ta pačia paskirtimi: matyti, kurie DI robotai lankosi, ir kiekvienam nustatyti veiksmą.

Ar roboto blokavimas AI Crawl Control pakeičia mano robots.txt?

Ne. Veiksmas Block sukuria arba atnaujina WAF pasirinktinę taisyklę. robots.txt keičiasi tik tada, jei Training naudojate parinktį Disallow su Bot Preference Sync, kuri jūsų failo pradžioje prideda Cloudflare valdomas taisykles.

Kas Cloudflare laikoma robots.txt pažeidimu?

DI roboto užklausa keliui, kurį jūsų robots.txt draudžia. Cloudflare lygina ankstesnes užklausas su dabartinėmis jūsų taisyklėmis, todėl nauja taisyklė gali pažymėti senesnes užklausas, kurios tuo metu buvo leistos.

Kas yra pay per crawl?

Veiksmas Charge, kuris prašo DI robotų mokėti už kiekvieną užklausą, o kitu atveju atsako HTTP 402 ir kaina. Cloudflare jį apibūdina kaip uždarą beta versiją, o WAF ar Bot Management blokavimai turi pirmenybę prieš jį.

Šaltiniai

Daugiau straipsnių