Kuidas lugeda Cloudflare'i AI Crawl Controli aruannet ja näha, millised AI-robotid sisse pääsevad

Avaldatud

Lühike vastus

Ava Cloudflare'i juhtpaneelil AI Crawl Control: robotite loend näitab iga AI-robotit, mida Cloudflare sinu domeenil on näinud, selle päringuid, robots.txt rikkumisi ja seda, kas selle toiming on Allow või Block. Et jääda AI-otsingusse, kuid keelduda treenimisest, luba otsingu- ja agendirobotid ning blokeeri või keela treeningrobotid seal või jaotises AI Crawler and Agent access policies. Seejärel kontrolli tulemust väljastpoolt curliga, sest teised Cloudflare'i funktsioonid võivad lubatud robotit ikkagi blokeerida.

Cloudflare'is on nüüd kaks kohta, mis otsustavad, mida AI-robotid saavad: AI Crawl Control, robotipõhine aruanne ja lülituspaneel, mille nimi oli varem AI Audit, ning kogu tsoonile kehtivad AI Crawler and Agent access policies jaotises Security settings. Mõlemad on saadaval Free paketis, mõlemad muutusid 2026. aastal ja kumbki ei räägi sulle kõigist teistest funktsioonidest, mis võivad robotile ikkagi veaga 403 vastata. See juhend käib aruande veerg veeru haaval läbi, näitab, kus lubamist ja blokeerimist seadistada, ning lõpeb testiga, mida saad oma arvutist käivitada.

Sellel lehel
  1. Kus on Cloudflare'is AI-robotite aruanne?
  2. Mida tähendab iga veerg ja mõõdik AI Crawl Controli aruandes?
  3. Kuidas Cloudflare'is AI-otsingurobotid lubada ja treeningrobotid blokeerida?
  4. Mis muutus Cloudflare'i AI-robotite vaikeseadetes?
  5. Miks Cloudflare blokeerib AI-roboteid endiselt, kuigi ma lubasin need?
  6. Kuidas väljastpoolt kontrollida, milliseid AI-roboteid Cloudflare sisse laseb?
  7. Kuidas AISeeWhy kontrollib, mida Cloudflare AI-robotitele saadab?

Kus on Cloudflare'is AI-robotite aruanne?

Vali juhtpaneelil oma konto ja domeen ning ava AI Crawl Control. Cloudflare ütleb, et see töötab ilma seadistamiseta ja on saadaval kõigis pakettides, kui sinu domeeni liiklus suunatakse proksina läbi Cloudflare'i. Sellel on neli osa:

Arvude lugemisel on olulised kaks paketipiirangut. Free paketis tuvastab AI Crawl Control robotid ainult user agent'i stringi järgi, nii et see näeb ainult ennast tutvustavaid roboteid ja mitte midagi muud, ning Metrics-vahekaart katab viimased 24 tundi. Tasulised paketid lisavad tuvastuse Bot Managementi tuvastus-ID kaudu ja Enterprise koos Bot Managementiga saab seadistatavad ajavahemikud.

Mida tähendab iga veerg ja mõõdik AI Crawl Controli aruandes?

Cloudflare dokumenteerib väljad järgmiselt. Määratlused on olulised, sest mitu arvu loendab rohkem, kui võiksid oodata.

Loe aruannet lähtudes valitud toimingust. Allow-olekus robot peaks näitama peamiselt lubatud päringuid ja 2xx-koode. Kui see näitab palju ebaõnnestunud päringuid, ava sellele robotile filtreeritud olekukoodide jaotus ja vaata Security Analyticsist, milline reegel vastas.

Kuidas Cloudflare'is AI-otsingurobotid lubada ja treeningrobotid blokeerida?

Saad seda teha roboti kaupa või käitumise järgi. Roboti kaupa: ava AI Crawl Control ja määra iga rea jaoks Action. Cloudflare ütleb, et seal blokeerimine loob või uuendab sinu tsoonis WAF-i kohandatud reegli, mida saad WAF-is teeerandite jaoks laiendada. Tasulistes pakettides saad valida, kas blokeeritud robotid saavad vastuseks 403 või 402, ja määrata lihtteksti sisu.

Käitumise järgi: mine Security, seejärel Settings, filtreeri Bot traffic järgi ja ava AI Crawler and Agent access policies. Cloudflare jagab AI-liikluse kolmeks käitumiseks ja iga poliitika kehtib selle käitumisega kinnitatud robotitele ja vastavatele kinnitamata robotitele:

Iga käitumise saab seada väärtusele Block, Block on pages with ads või Allow (do not block). Trainingul on lisaks Disallow, mis ainult palub robotitel robots.txt kaudu eemale hoida. Kui Bot Preference Sync on sees, lisab Cloudflare sinu robots.txt algusesse hallatud reeglid, mis keelavad Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ja meta-externalagent, lisab Content Signals rea ning blokeerib AI-treeningrobotid ka servas, välja arvatud robotid, mida kasutatakse nii otsinguks kui ka treenimiseks.

Enamikule saitidele, mis tahavad AI-viiteid, on turvaline kombinatsioon Search ja Agent väärtusel Allow ning Training väärtusel Disallow, seejärel AI Crawl Controlis üksikud Block-toimingud ainult treenimiseks mõeldud robotitele, mida tahad servas peatada.

Mis muutus Cloudflare'i AI-robotite vaikeseadetes?

1. juulil 2025 teatas Cloudflare, et muudab vaikeseadet nii, et AI-robotid blokeeritakse, kui nad sisuloojatele ei maksa. 1. juulil 2026 asendas see ühe Block AI bots lüliti ülalkirjeldatud eraldi Search, Agent ja Training poliitikatega kõigis pakettides, sealhulgas Free. Sama teadaanne ütles, et alates 15. septembrist 2026 lisatavatel uutel domeenidel on reklaame näitavatel lehtedel Training ja Agent blokeeritud ning Search lubatud.

Cloudflare'i praegune poliitikadokumentatsioon, viimati uuendatud 2. novembril 2026, ütleb, et uute domeenide vaikeväärtus on kõigi kolme käitumise puhul Allow (do not block). Kuna Cloudflare'i enda lehed on eri aegadel kirjeldanud erinevaid vaikeseadeid, ära toetu oma tsooni puhul ühelegi neist: ava poliitikaleht ja loe, mis on seadistatud.

Miks Cloudflare blokeerib AI-roboteid endiselt, kuigi ma lubasin need?

AI Crawl Controli Allow-toiming peatab ainult AI Crawl Controli enda blokeerimise. Teised funktsioonid toimivad päringule edasi. Levinud põhjused:

Kuidas väljastpoolt kontrollida, milliseid AI-roboteid Cloudflare sisse laseb?

Küsi sama lehte brauseri user agent'iga ja iga roboti user agent'iga ning võrdle olekut ja suurust. Allpool olevad OpenAI, Perplexity ja Google'i stringid on need, mida need ettevõtted avaldavad.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Roboti rida koodiga 403, 429 või 503 või brauseri reast palju väiksema suurusega tähendab, et midagi sinu lähteserveri ees vastas teisiti. Free paketis tuvastab AI Crawl Control roboteid user agent'i järgi, nii et see test kontrollib selle blokeeringuid mõistlikult hästi. Kinnitatud roboti olekule või robotiskooridele põhinevad reeglid võivad sinu päringut käsitleda teisiti kui päris robotit, sest see tuleb sinu IP-aadressilt, mitte haldaja avaldatud vahemikest. Pärast testimist leia Security Analyticsist oma päringud, et näha, milline reegel rakendus.

Kuidas AISeeWhy kontrollib, mida Cloudflare AI-robotitele saadab?

Tasuta AISeeWhy kontroll küsib sinu lehte 16 AI- ja otsinguroboti nimel päris brauseri kõrval, rakendab sinu robots.txt-d roboti kaupa ja tunneb ära tulemüüri kontrollilehed, nii et näed, kas Cloudflare'i juhtpaneeli tulemus vastab sellele, mida robotid päriselt saavad.

Selle probleemi parandused

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas Cloudflare AI Crawl Control on tasuta?

Jah. Cloudflare loetleb AI Crawl Controli kõigis pakettides saadavana. Free pakett tuvastab robotid ainult user agent'i järgi ja näitab Metricsis viimast 24 tundi; suunamisandmed ja kohandatud blokeerimisvastused vajavad tasulist paketti.

Mis juhtus Cloudflare AI Auditiga?

See nimetati ümber. Cloudflare'i dokumentatsioon kirjeldab AI Crawl Controli kui endist AI Auditit, millel on sama eesmärk: näha, millised AI-robotid külastavad, ja määrata igaühe jaoks toiming.

Kas roboti blokeerimine AI Crawl Controlis muudab minu robots.txt-d?

Ei. Block-toiming loob või uuendab WAF-i kohandatud reegli. robots.txt muutub ainult siis, kui kasutad Trainingu jaoks Disallow valikut koos Bot Preference Synciga, mis lisab Cloudflare'i hallatud reeglid sinu faili algusesse.

Mida loetakse Cloudflare'is robots.txt rikkumiseks?

AI-roboti päringut teele, mille sinu robots.txt keelab. Cloudflare võrdleb varasemaid päringuid sinu praeguste reeglitega, nii et uus reegel võib märgistada vanemaid päringuid, mis olid tol hetkel lubatud.

Mis on pay per crawl?

Charge-toiming, mis palub AI-robotitel maksta päringu eest ja vastab muidu HTTP 402 ja hinnaga. Cloudflare kirjeldab seda suletud beetana ning WAF-i või Bot Managementi blokeeringud on sellest eelistatud.

Allikad

Veel artikleid