Kā lasīt Cloudflare AI Crawl Control pārskatu un redzēt, kuras MI rāpuļprogrammas tiek iekšā
Atveriet AI Crawl Control savā Cloudflare panelī: rāpuļprogrammu sarakstā redzama katra MI rāpuļprogramma, ko Cloudflare ir redzējis jūsu domēnā, tās pieprasījumi, robots.txt pārkāpumi un vai tās darbība ir Allow vai Block. Lai saglabātu MI meklēšanu, bet atteiktu apmācību, atļaujiet meklēšanas un aģentu rāpuļprogrammas un bloķējiet vai aizliedziet apmācības rāpuļprogrammas tur vai sadaļā AI Crawler and Agent access policies. Pēc tam pārbaudiet no ārpuses ar curl, jo citas Cloudflare funkcijas joprojām var bloķēt atļautu rāpuļprogrammu.
Cloudflare tagad ir divas vietas, kas nosaka, ko saņem MI rāpuļprogrammas: AI Crawl Control, pārskats un slēdžu panelis katrai rāpuļprogrammai, kas agrāk saucās AI Audit, un visas zonas AI Crawler and Agent access policies drošības iestatījumos. Abas ir pieejamas Free plānā, abas 2026. gadā mainījās, un neviena no tām nestāsta par visām pārējām funkcijām, kas joprojām var atbildēt rāpuļprogrammai ar 403. Šis ceļvedis iziet cauri pārskatam kolonnu pa kolonnai, parāda, kur iestatīt atļaušanu un bloķēšanu, un noslēdzas ar testu, ko varat palaist no sava datora.
Šajā lapā
- Kur Cloudflare atrodas MI rāpuļprogrammu pārskats?
- Ko nozīmē katra AI Crawl Control pārskata kolonna un metrika?
- Kā Cloudflare atļaut MI meklēšanas rāpuļprogrammas un bloķēt apmācības rāpuļprogrammas?
- Kas mainījās Cloudflare MI rāpuļprogrammu noklusējuma iestatījumos?
- Kāpēc Cloudflare joprojām bloķē MI rāpuļprogrammas pēc tam, kad tās atļāvu?
- Kā no ārpuses pārbaudīt, kuras MI rāpuļprogrammas Cloudflare ielaiž?
- Kā AISeeWhy pārbauda, ko Cloudflare sūta MI rāpuļprogrammām?
Kur Cloudflare atrodas MI rāpuļprogrammu pārskats?
Panelī izvēlieties savu kontu un domēnu, pēc tam atveriet AI Crawl Control. Cloudflare norāda, ka tas darbojas bez konfigurācijas un ir pieejams visos plānos, ja vien jūsu domēna datplūsma tiek proksēta caur Cloudflare. Tajā ir četras sadaļas:
- Overview: kopsavilkums ar kopējo pieprasījumu skaitu, apjoma izmaiņām, biežāko statusa kodu, populārāko ceļu un lielapjoma rāpuļprogrammām, kā arī to, vai ieslēgts Cloudflare pārvaldītais robots.txt, un rāpuļprogrammas, grupētas pēc operatora, piemēram, OpenAI, Microsoft, Google, ByteDance, Anthropic un Meta.
- Rāpuļprogrammu saraksts: viena rinda katrai MI rāpuļprogrammai ar kolonnu Action, kurā izvēlaties Allow vai Block. Cloudflare dokumentācija vienā lapā šo cilni sauc par Crawlers, citā par Security, tāpēc meklējiet tabulu ar kolonnu Action.
- Metrics: pieprasījumi laika gaitā, statusa kodu sadalījums, satura formāts, populārākie ceļi un maksas plānos novirzīšanas. Filtri aptver datumu diapazonu, rāpuļprogrammu, operatoru, saimniekdatora nosaukumu un ceļu, un varat eksportēt CSV.
- Directives: jūsu robots.txt faila stāvoklis un robots.txt pārkāpumu saraksts.
Lasot skaitļus, svarīgi ir divi plānu ierobežojumi. Free plānā AI Crawl Control atpazīst rāpuļprogrammas tikai pēc user-agent virknes, tāpēc tas redz tikai tās, kas sevi piesaka, un cilne Metrics aptver pēdējās 24 stundas. Maksas plāni pievieno noteikšanu ar Bot Management noteikšanas ID, bet Enterprise ar Bot Management iegūst konfigurējamus laika periodus.
Ko nozīmē katra AI Crawl Control pārskata kolonna un metrika?
Cloudflare laukus dokumentē šādi. Definīcijas ir svarīgas, jo vairāki skaitļi ietver vairāk, nekā varētu gaidīt.
- Crawler un Category: rāpuļprogrammas nosaukums, tās operators un kategorija, piemēram, AI crawler, AI assistant vai archiver.
- Requests: atļautie plus neveiksmīgie pieprasījumi, ar tendences grafiku. Neveiksmīgi pieprasījumi var rasties no jebkura noteikuma vai atbildes kļūdas, ne tikai no AI Crawl Control bloķēšanas, tāpēc liels skaitlis atļautai rāpuļprogrammai norāda uz citu noteikumu vai kļūdām jūsu izcelsmes serverī.
- Allowed requests: pieprasījumi, kas saņēma statusu no 200 līdz 299. Datu pārsūtīšana tiek mērīta pēc baitiem, ko Cloudflare nosūtīja atļautajiem pieprasījumiem.
- Robots.txt violations: cik reizes rāpuļprogramma pieprasīja ceļu, ko jūsu robots.txt aizliedz. Cloudflare salīdzina pagātnes pieprasījumus ar jūsu pašreizējām kārtulām, tāpēc šodien pievienota kārtula var atzīmēt pieprasījumus, kas to veikšanas brīdī bija atļauti.
- Action: Allow, Block vai, kontiem pay per crawl beta versijā, Charge.
- Statusa kodu sadalījums: 2xx, 3xx, 4xx un 5xx. Grupā 4xx ietilpst 403 no bloķēšanas un 402 no pay per crawl.
- Referrals un galvenie novirzītāji, tikai maksas plānos: apmeklējumi, kas ienāca no MI pakalpojumiem, piemēram, no chatgpt.com, un lapas, uz kurām tie nonāca.
Lasiet pārskatu, sākot no izvēlētās darbības. Rāpuļprogrammai ar Allow jārāda pārsvarā atļauti pieprasījumi un 2xx kodi. Ja tai ir daudz neveiksmīgu pieprasījumu, atveriet statusa kodu sadalījumu, filtrētu pēc šīs rāpuļprogrammas, un pārbaudiet Security Analytics, lai atrastu noteikumu, kas atbildēja.
Kā Cloudflare atļaut MI meklēšanas rāpuļprogrammas un bloķēt apmācības rāpuļprogrammas?
To var darīt katrai rāpuļprogrammai atsevišķi vai pēc uzvedības. Katrai atsevišķi atveriet AI Crawl Control un iestatiet Action katrai rindai. Cloudflare norāda, ka bloķēšana tur izveido vai atjaunina WAF pielāgoto noteikumu jūsu zonā, ko WAF varat paplašināt ar ceļu izņēmumiem. Maksas plānos varat izvēlēties, vai bloķētās rāpuļprogrammas saņem 403 vai 402, un iestatīt vienkārša teksta pamattekstu.
Pēc uzvedības dodieties uz Security, tad Settings, filtrējiet pēc Bot traffic un atveriet AI Crawler and Agent access policies. Cloudflare MI datplūsmu iedala trīs uzvedībās, un katra politika attiecas uz verificētiem robotiem ar šo uzvedību un uz atbilstošiem neverificētiem robotiem:
- Search: satura vākšana vai indeksēšana, lai vēlāk atbildētu uz jautājumiem.
- Agent: darbība reāllaikā cilvēka vārdā, piemēram, tērzēšanas ielādes un pārlūka aģenti.
- Training: satura vākšana modeļu apmācībai vai pielāgošanai, ieskaitot rāpuļprogrammas, ko izmanto gan apmācībai, gan meklēšanai.
Katrai uzvedībai var iestatīt Block, Block on pages with ads vai Allow (do not block). Training ir arī Disallow, kas tikai lūdz rāpuļprogrammas caur robots.txt. Ja ieslēgts Bot Preference Sync, Cloudflare jūsu robots.txt sākumā pievieno pārvaldītas kārtulas, kas aizliedz Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot un meta-externalagent, pievieno Content Signals rindu un arī bloķē MI apmācības rāpuļprogrammas tīkla malā, izņemot rāpuļprogrammas, ko izmanto gan meklēšanai, gan apmācībai.
Lielākajai daļai vietņu, kas vēlas MI citātus, drošā kombinācija ir Search un Agent uz Allow un Training uz Disallow, pēc tam atsevišķas Block darbības AI Crawl Control tikai apmācības rāpuļprogrammām, kuras vēlaties apturēt tīkla malā.
Kas mainījās Cloudflare MI rāpuļprogrammu noklusējuma iestatījumos?
2025. gada 1. jūlijā Cloudflare paziņoja, ka maina noklusējumu uz MI rāpuļprogrammu bloķēšanu, ja vien tās nemaksā satura veidotājiem. 2026. gada 1. jūlijā tas aizstāja vienoto slēdzi Block AI bots ar atsevišķām Search, Agent un Training politikām, kas aprakstītas iepriekš, visiem plāniem, ieskaitot Free. Tajā pašā paziņojumā teikts, ka jauniem domēniem, kas pievienoti no 2026. gada 15. septembra, Training un Agent būs bloķēti lapās, kurās rāda reklāmas, bet Search atļauts.
Cloudflare pašreizējā politiku dokumentācija, pēdējoreiz atjaunināta 2026. gada 2. novembrī, norāda, ka jauniem domēniem pēc noklusējuma visām trim uzvedībām ir Allow (do not block). Tā kā paša Cloudflare lapās dažādos laikos aprakstīti dažādi noklusējumi, nepaļaujieties ne uz vienu no tiem savai zonai: atveriet politiku lapu un izlasiet, kas iestatīts.
Kāpēc Cloudflare joprojām bloķē MI rāpuļprogrammas pēc tam, kad tās atļāvu?
Darbība Allow AI Crawl Control tikai aptur AI Crawl Control bloķēšanu. Citas funkcijas joprojām iedarbojas uz pieprasījumu. Biežākie iemesli:
- Training bloķēšana bloķē arī meklēšanas rāpuļprogrammas, kas dara abus. Cloudflare dokumentācijā teikts, ka Training darbības attiecas uz jaukta mērķa rāpuļprogrammām, un 2026. gada jūlija paziņojumā Googlebot, Applebot un bingbot nosauktas kā rāpuļprogrammas, kuras klienti, kas bloķē Training, bloķēs no 2026. gada 15. septembra. Disallow ir šaurāka izvēle, jo tās bloķēšana tīkla malā izlaiž jaukta mērķa rāpuļprogrammas.
- Ieslēgts Bot Fight Mode. Cloudflare norāda, ka Bot Fight Mode nevar apiet vai izlaist ar WAF pielāgotajiem noteikumiem vai Page Rules. Ja tas izaicina rāpuļprogrammu, izslēdziet to vai plānā, kurā tas pieejams, izmantojiet Super Bot Fight Mode, kas atbalsta izlaišanas noteikumus.
- Vecāks WAF pielāgotais noteikums bloķē user-agent, kas satur
bot, vai ātruma ierobežošanas noteikums uz pieprasījumu uzplūdiem atbild ar 429. Tie darbojas neatkarīgi no Action AI Crawl Control. - Bloķēšanas noteikums rediģēts manuāli. Ja WAF noteikums aiz AI Crawl Control mainīts uz citu atbildes kodu, panelis vairs nevar īstenot jūsu izvēli.
- robots.txt joprojām aizliedz rāpuļprogrammu. Cloudflare Allow nemaina jūsu robots.txt, tāpēc pieklājīga rāpuļprogramma tik un tā paliek prom. Mūsu pētījumā par 1000 populārākajiem domēniem 98 no 155 vietnēm, kas robots.txt bloķēja MI apmācības rāpuļprogrammu, bloķēja arī vismaz vienu MI meklēšanas vai lietotāja rāpuļprogrammu.
Kā no ārpuses pārbaudīt, kuras MI rāpuļprogrammas Cloudflare ielaiž?
Pieprasiet to pašu lapu ar pārlūka user-agent un ar katras rāpuļprogrammas user-agent, pēc tam salīdziniet statusu un lielumu. Tālāk norādītās OpenAI, Perplexity un Google virknes ir tās, ko publicē šie uzņēmumi.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Rāpuļprogrammas rinda ar 403, 429 vai 503 vai ar daudz mazāku lielumu nekā pārlūka rindai nozīmē, ka kaut kas pirms jūsu izcelsmes servera atbildēja citādi. Free plānā AI Crawl Control nosaka rāpuļprogrammas pēc user-agent, tāpēc šis tests saprātīgi pārbauda tā bloķēšanu. Noteikumi, kas balstās uz verificēta robota statusu vai robotu vērtējumu, var izturēties pret jūsu pieprasījumu citādi nekā pret īsto rāpuļprogrammu, jo tas nāk no jūsu IP adreses, nevis no operatora publicētajiem diapazoniem. Pēc testēšanas atrodiet savus pieprasījumus Security Analytics, lai redzētu, kurš noteikums nostrādāja.
Kā AISeeWhy pārbauda, ko Cloudflare sūta MI rāpuļprogrammām?
Bezmaksas AISeeWhy pārbaude pieprasa jūsu lapu kā 16 MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, piemēro jūsu robots.txt katrai rāpuļprogrammai un atpazīst ugunsmūra pārbaudes lapas, lai jūs redzētu, vai rezultāts Cloudflare panelī atbilst tam, ko rāpuļprogrammas patiešām saņem.
Labojumi šai problēmai
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai Cloudflare AI Crawl Control ir bezmaksas?
Jā. Cloudflare norāda, ka AI Crawl Control ir pieejams visos plānos. Free plāns nosaka rāpuļprogrammas tikai pēc user-agent un sadaļā Metrics rāda pēdējās 24 stundas; novirzīšanas datiem un pielāgotām bloķēšanas atbildēm vajag maksas plānu.
Kas notika ar Cloudflare AI Audit?
Tas tika pārdēvēts. Cloudflare dokumentācija apraksta AI Crawl Control kā agrāko AI Audit ar to pašu mērķi: redzēt, kuras MI rāpuļprogrammas apmeklē vietni, un iestatīt darbību katrai.
Vai rāpuļprogrammas bloķēšana AI Crawl Control maina manu robots.txt?
Nē. Darbība Block izveido vai atjaunina WAF pielāgoto noteikumu. robots.txt mainās tikai tad, ja izmantojat Training opciju Disallow ar Bot Preference Sync, kas jūsu faila sākumā pievieno Cloudflare pārvaldītās kārtulas.
Kas Cloudflare tiek uzskatīts par robots.txt pārkāpumu?
MI rāpuļprogrammas pieprasījums uz ceļu, ko jūsu robots.txt aizliedz. Cloudflare salīdzina pagātnes pieprasījumus ar jūsu pašreizējām kārtulām, tāpēc jauna kārtula var atzīmēt vecākus pieprasījumus, kas tolaik bija atļauti.
Kas ir pay per crawl?
Darbība Charge, kas prasa MI rāpuļprogrammām maksāt par katru pieprasījumu, pretējā gadījumā atbildot ar HTTP 402 un cenu. Cloudflare to apraksta kā slēgtu beta versiju, un WAF vai Bot Management bloķēšanai ir prioritāte pār to.
Avoti
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: pārskats par MI rāpuļprogrammu piekļuvi, 2026-11