Kā lasīt Cloudflare AI Crawl Control pārskatu un redzēt, kuras MI rāpuļprogrammas tiek iekšā

Publicēts

Īsa atbilde

Atveriet AI Crawl Control savā Cloudflare panelī: rāpuļprogrammu sarakstā redzama katra MI rāpuļprogramma, ko Cloudflare ir redzējis jūsu domēnā, tās pieprasījumi, robots.txt pārkāpumi un vai tās darbība ir Allow vai Block. Lai saglabātu MI meklēšanu, bet atteiktu apmācību, atļaujiet meklēšanas un aģentu rāpuļprogrammas un bloķējiet vai aizliedziet apmācības rāpuļprogrammas tur vai sadaļā AI Crawler and Agent access policies. Pēc tam pārbaudiet no ārpuses ar curl, jo citas Cloudflare funkcijas joprojām var bloķēt atļautu rāpuļprogrammu.

Cloudflare tagad ir divas vietas, kas nosaka, ko saņem MI rāpuļprogrammas: AI Crawl Control, pārskats un slēdžu panelis katrai rāpuļprogrammai, kas agrāk saucās AI Audit, un visas zonas AI Crawler and Agent access policies drošības iestatījumos. Abas ir pieejamas Free plānā, abas 2026. gadā mainījās, un neviena no tām nestāsta par visām pārējām funkcijām, kas joprojām var atbildēt rāpuļprogrammai ar 403. Šis ceļvedis iziet cauri pārskatam kolonnu pa kolonnai, parāda, kur iestatīt atļaušanu un bloķēšanu, un noslēdzas ar testu, ko varat palaist no sava datora.

Šajā lapā
  1. Kur Cloudflare atrodas MI rāpuļprogrammu pārskats?
  2. Ko nozīmē katra AI Crawl Control pārskata kolonna un metrika?
  3. Kā Cloudflare atļaut MI meklēšanas rāpuļprogrammas un bloķēt apmācības rāpuļprogrammas?
  4. Kas mainījās Cloudflare MI rāpuļprogrammu noklusējuma iestatījumos?
  5. Kāpēc Cloudflare joprojām bloķē MI rāpuļprogrammas pēc tam, kad tās atļāvu?
  6. Kā no ārpuses pārbaudīt, kuras MI rāpuļprogrammas Cloudflare ielaiž?
  7. Kā AISeeWhy pārbauda, ko Cloudflare sūta MI rāpuļprogrammām?

Kur Cloudflare atrodas MI rāpuļprogrammu pārskats?

Panelī izvēlieties savu kontu un domēnu, pēc tam atveriet AI Crawl Control. Cloudflare norāda, ka tas darbojas bez konfigurācijas un ir pieejams visos plānos, ja vien jūsu domēna datplūsma tiek proksēta caur Cloudflare. Tajā ir četras sadaļas:

Lasot skaitļus, svarīgi ir divi plānu ierobežojumi. Free plānā AI Crawl Control atpazīst rāpuļprogrammas tikai pēc user-agent virknes, tāpēc tas redz tikai tās, kas sevi piesaka, un cilne Metrics aptver pēdējās 24 stundas. Maksas plāni pievieno noteikšanu ar Bot Management noteikšanas ID, bet Enterprise ar Bot Management iegūst konfigurējamus laika periodus.

Ko nozīmē katra AI Crawl Control pārskata kolonna un metrika?

Cloudflare laukus dokumentē šādi. Definīcijas ir svarīgas, jo vairāki skaitļi ietver vairāk, nekā varētu gaidīt.

Lasiet pārskatu, sākot no izvēlētās darbības. Rāpuļprogrammai ar Allow jārāda pārsvarā atļauti pieprasījumi un 2xx kodi. Ja tai ir daudz neveiksmīgu pieprasījumu, atveriet statusa kodu sadalījumu, filtrētu pēc šīs rāpuļprogrammas, un pārbaudiet Security Analytics, lai atrastu noteikumu, kas atbildēja.

Kā Cloudflare atļaut MI meklēšanas rāpuļprogrammas un bloķēt apmācības rāpuļprogrammas?

To var darīt katrai rāpuļprogrammai atsevišķi vai pēc uzvedības. Katrai atsevišķi atveriet AI Crawl Control un iestatiet Action katrai rindai. Cloudflare norāda, ka bloķēšana tur izveido vai atjaunina WAF pielāgoto noteikumu jūsu zonā, ko WAF varat paplašināt ar ceļu izņēmumiem. Maksas plānos varat izvēlēties, vai bloķētās rāpuļprogrammas saņem 403 vai 402, un iestatīt vienkārša teksta pamattekstu.

Pēc uzvedības dodieties uz Security, tad Settings, filtrējiet pēc Bot traffic un atveriet AI Crawler and Agent access policies. Cloudflare MI datplūsmu iedala trīs uzvedībās, un katra politika attiecas uz verificētiem robotiem ar šo uzvedību un uz atbilstošiem neverificētiem robotiem:

Katrai uzvedībai var iestatīt Block, Block on pages with ads vai Allow (do not block). Training ir arī Disallow, kas tikai lūdz rāpuļprogrammas caur robots.txt. Ja ieslēgts Bot Preference Sync, Cloudflare jūsu robots.txt sākumā pievieno pārvaldītas kārtulas, kas aizliedz Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot un meta-externalagent, pievieno Content Signals rindu un arī bloķē MI apmācības rāpuļprogrammas tīkla malā, izņemot rāpuļprogrammas, ko izmanto gan meklēšanai, gan apmācībai.

Lielākajai daļai vietņu, kas vēlas MI citātus, drošā kombinācija ir Search un Agent uz Allow un Training uz Disallow, pēc tam atsevišķas Block darbības AI Crawl Control tikai apmācības rāpuļprogrammām, kuras vēlaties apturēt tīkla malā.

Kas mainījās Cloudflare MI rāpuļprogrammu noklusējuma iestatījumos?

2025. gada 1. jūlijā Cloudflare paziņoja, ka maina noklusējumu uz MI rāpuļprogrammu bloķēšanu, ja vien tās nemaksā satura veidotājiem. 2026. gada 1. jūlijā tas aizstāja vienoto slēdzi Block AI bots ar atsevišķām Search, Agent un Training politikām, kas aprakstītas iepriekš, visiem plāniem, ieskaitot Free. Tajā pašā paziņojumā teikts, ka jauniem domēniem, kas pievienoti no 2026. gada 15. septembra, Training un Agent būs bloķēti lapās, kurās rāda reklāmas, bet Search atļauts.

Cloudflare pašreizējā politiku dokumentācija, pēdējoreiz atjaunināta 2026. gada 2. novembrī, norāda, ka jauniem domēniem pēc noklusējuma visām trim uzvedībām ir Allow (do not block). Tā kā paša Cloudflare lapās dažādos laikos aprakstīti dažādi noklusējumi, nepaļaujieties ne uz vienu no tiem savai zonai: atveriet politiku lapu un izlasiet, kas iestatīts.

Kāpēc Cloudflare joprojām bloķē MI rāpuļprogrammas pēc tam, kad tās atļāvu?

Darbība Allow AI Crawl Control tikai aptur AI Crawl Control bloķēšanu. Citas funkcijas joprojām iedarbojas uz pieprasījumu. Biežākie iemesli:

Kā no ārpuses pārbaudīt, kuras MI rāpuļprogrammas Cloudflare ielaiž?

Pieprasiet to pašu lapu ar pārlūka user-agent un ar katras rāpuļprogrammas user-agent, pēc tam salīdziniet statusu un lielumu. Tālāk norādītās OpenAI, Perplexity un Google virknes ir tās, ko publicē šie uzņēmumi.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Rāpuļprogrammas rinda ar 403, 429 vai 503 vai ar daudz mazāku lielumu nekā pārlūka rindai nozīmē, ka kaut kas pirms jūsu izcelsmes servera atbildēja citādi. Free plānā AI Crawl Control nosaka rāpuļprogrammas pēc user-agent, tāpēc šis tests saprātīgi pārbauda tā bloķēšanu. Noteikumi, kas balstās uz verificēta robota statusu vai robotu vērtējumu, var izturēties pret jūsu pieprasījumu citādi nekā pret īsto rāpuļprogrammu, jo tas nāk no jūsu IP adreses, nevis no operatora publicētajiem diapazoniem. Pēc testēšanas atrodiet savus pieprasījumus Security Analytics, lai redzētu, kurš noteikums nostrādāja.

Kā AISeeWhy pārbauda, ko Cloudflare sūta MI rāpuļprogrammām?

Bezmaksas AISeeWhy pārbaude pieprasa jūsu lapu kā 16 MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, piemēro jūsu robots.txt katrai rāpuļprogrammai un atpazīst ugunsmūra pārbaudes lapas, lai jūs redzētu, vai rezultāts Cloudflare panelī atbilst tam, ko rāpuļprogrammas patiešām saņem.

Labojumi šai problēmai

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Vai Cloudflare AI Crawl Control ir bezmaksas?

Jā. Cloudflare norāda, ka AI Crawl Control ir pieejams visos plānos. Free plāns nosaka rāpuļprogrammas tikai pēc user-agent un sadaļā Metrics rāda pēdējās 24 stundas; novirzīšanas datiem un pielāgotām bloķēšanas atbildēm vajag maksas plānu.

Kas notika ar Cloudflare AI Audit?

Tas tika pārdēvēts. Cloudflare dokumentācija apraksta AI Crawl Control kā agrāko AI Audit ar to pašu mērķi: redzēt, kuras MI rāpuļprogrammas apmeklē vietni, un iestatīt darbību katrai.

Vai rāpuļprogrammas bloķēšana AI Crawl Control maina manu robots.txt?

Nē. Darbība Block izveido vai atjaunina WAF pielāgoto noteikumu. robots.txt mainās tikai tad, ja izmantojat Training opciju Disallow ar Bot Preference Sync, kas jūsu faila sākumā pievieno Cloudflare pārvaldītās kārtulas.

Kas Cloudflare tiek uzskatīts par robots.txt pārkāpumu?

MI rāpuļprogrammas pieprasījums uz ceļu, ko jūsu robots.txt aizliedz. Cloudflare salīdzina pagātnes pieprasījumus ar jūsu pašreizējām kārtulām, tāpēc jauna kārtula var atzīmēt vecākus pieprasījumus, kas tolaik bija atļauti.

Kas ir pay per crawl?

Darbība Charge, kas prasa MI rāpuļprogrammām maksāt par katru pieprasījumu, pretējā gadījumā atbildot ar HTTP 402 un cenu. Cloudflare to apraksta kā slēgtu beta versiju, un WAF vai Bot Management bloķēšanai ir prioritāte pār to.

Avoti

Citi raksti