Kuidas lugeda Cloudflare'i AI Crawl Controli aruannet ja näha, millised AI-robotid sisse pääsevad
Ava Cloudflare'i juhtpaneelil AI Crawl Control: robotite loend näitab iga AI-robotit, mida Cloudflare sinu domeenil on näinud, selle päringuid, robots.txt rikkumisi ja seda, kas selle toiming on Allow või Block. Et jääda AI-otsingusse, kuid keelduda treenimisest, luba otsingu- ja agendirobotid ning blokeeri või keela treeningrobotid seal või jaotises AI Crawler and Agent access policies. Seejärel kontrolli tulemust väljastpoolt curliga, sest teised Cloudflare'i funktsioonid võivad lubatud robotit ikkagi blokeerida.
Cloudflare'is on nüüd kaks kohta, mis otsustavad, mida AI-robotid saavad: AI Crawl Control, robotipõhine aruanne ja lülituspaneel, mille nimi oli varem AI Audit, ning kogu tsoonile kehtivad AI Crawler and Agent access policies jaotises Security settings. Mõlemad on saadaval Free paketis, mõlemad muutusid 2026. aastal ja kumbki ei räägi sulle kõigist teistest funktsioonidest, mis võivad robotile ikkagi veaga 403 vastata. See juhend käib aruande veerg veeru haaval läbi, näitab, kus lubamist ja blokeerimist seadistada, ning lõpeb testiga, mida saad oma arvutist käivitada.
Sellel lehel
- Kus on Cloudflare'is AI-robotite aruanne?
- Mida tähendab iga veerg ja mõõdik AI Crawl Controli aruandes?
- Kuidas Cloudflare'is AI-otsingurobotid lubada ja treeningrobotid blokeerida?
- Mis muutus Cloudflare'i AI-robotite vaikeseadetes?
- Miks Cloudflare blokeerib AI-roboteid endiselt, kuigi ma lubasin need?
- Kuidas väljastpoolt kontrollida, milliseid AI-roboteid Cloudflare sisse laseb?
- Kuidas AISeeWhy kontrollib, mida Cloudflare AI-robotitele saadab?
Kus on Cloudflare'is AI-robotite aruanne?
Vali juhtpaneelil oma konto ja domeen ning ava AI Crawl Control. Cloudflare ütleb, et see töötab ilma seadistamiseta ja on saadaval kõigis pakettides, kui sinu domeeni liiklus suunatakse proksina läbi Cloudflare'i. Sellel on neli osa:
- Overview: juhi kokkuvõte päringute koguarvu, mahu muutuse, kõige sagedasema olekukoodi, populaarseima tee ja suure mahuga robotitega, lisaks see, kas Cloudflare'i hallatud robots.txt on sees, ning robotid rühmitatuna haldaja järgi, nagu OpenAI, Microsoft, Google, ByteDance, Anthropic ja Meta.
- Robotite loend: üks rida iga AI-roboti kohta ja Action-veerg, kus valid Allow või Block. Cloudflare'i dokumentatsioon nimetab seda vahekaarti ühel lehel Crawlers ja teisel Security, nii et otsi Action-veeruga tabelit.
- Metrics: päringud ajas, olekukoodide jaotus, sisu vorming, populaarseimad teed ja tasulistes pakettides suunamised. Filtrid hõlmavad ajavahemikku, robotit, haldajat, hostinime ja teed ning saad eksportida CSV-faili.
- Directives: sinu robots.txt faili seisund ja robots.txt rikkumiste loend.
Arvude lugemisel on olulised kaks paketipiirangut. Free paketis tuvastab AI Crawl Control robotid ainult user agent'i stringi järgi, nii et see näeb ainult ennast tutvustavaid roboteid ja mitte midagi muud, ning Metrics-vahekaart katab viimased 24 tundi. Tasulised paketid lisavad tuvastuse Bot Managementi tuvastus-ID kaudu ja Enterprise koos Bot Managementiga saab seadistatavad ajavahemikud.
Mida tähendab iga veerg ja mõõdik AI Crawl Controli aruandes?
Cloudflare dokumenteerib väljad järgmiselt. Määratlused on olulised, sest mitu arvu loendab rohkem, kui võiksid oodata.
- Crawler ja Category: roboti nimi, selle haldaja ja kategooria, näiteks AI crawler, AI assistant või archiver.
- Requests: lubatud ja ebaõnnestunud päringud kokku koos trendigraafikuga. Ebaõnnestunud päringud võivad tulla mis tahes reeglist või vastuse veast, mitte ainult AI Crawl Controli blokeeringust, nii et suur arv lubatud roboti puhul viitab mõnele teisele reeglile või vigadele sinu lähteserveris.
- Allowed requests: päringud, mis said oleku vahemikus 200–299. Andmeedastust mõõdetakse baitidest, mille Cloudflare lubatud päringute jaoks saatis.
- Robots.txt violations: mitu korda robot küsis teed, mille sinu robots.txt keelab. Cloudflare võrdleb varasemaid päringuid sinu praeguste reeglitega, nii et täna lisatud reegel võib märgistada päringuid, mis tegemise ajal olid lubatud.
- Action: Allow, Block või pay per crawl beetas olevate kontode puhul Charge.
- Olekukoodide jaotus: 2xx, 3xx, 4xx ja 5xx. 4xx rühm sisaldab blokeeringutest tulevaid 403-sid ja pay per crawl'ist tulevaid 402-sid.
- Referrals ja peamised suunajad, ainult tasulistes pakettides: külastused, mis saabusid AI-teenustest, näiteks chatgpt.com-ist, ja lehed, kuhu need jõudsid.
Loe aruannet lähtudes valitud toimingust. Allow-olekus robot peaks näitama peamiselt lubatud päringuid ja 2xx-koode. Kui see näitab palju ebaõnnestunud päringuid, ava sellele robotile filtreeritud olekukoodide jaotus ja vaata Security Analyticsist, milline reegel vastas.
Kuidas Cloudflare'is AI-otsingurobotid lubada ja treeningrobotid blokeerida?
Saad seda teha roboti kaupa või käitumise järgi. Roboti kaupa: ava AI Crawl Control ja määra iga rea jaoks Action. Cloudflare ütleb, et seal blokeerimine loob või uuendab sinu tsoonis WAF-i kohandatud reegli, mida saad WAF-is teeerandite jaoks laiendada. Tasulistes pakettides saad valida, kas blokeeritud robotid saavad vastuseks 403 või 402, ja määrata lihtteksti sisu.
Käitumise järgi: mine Security, seejärel Settings, filtreeri Bot traffic järgi ja ava AI Crawler and Agent access policies. Cloudflare jagab AI-liikluse kolmeks käitumiseks ja iga poliitika kehtib selle käitumisega kinnitatud robotitele ja vastavatele kinnitamata robotitele:
- Search: sisu kogumine või indekseerimine, et hiljem küsimustele vastata.
- Agent: reaalajas tegutsemine inimese nimel, näiteks vestluse käigus tehtavad laadimised ja brauseriagendid.
- Training: sisu kogumine mudelite treenimiseks või peenhäälestamiseks, sealhulgas robotid, mida kasutatakse nii treenimiseks kui ka otsinguks.
Iga käitumise saab seada väärtusele Block, Block on pages with ads või Allow (do not block). Trainingul on lisaks Disallow, mis ainult palub robotitel robots.txt kaudu eemale hoida. Kui Bot Preference Sync on sees, lisab Cloudflare sinu robots.txt algusesse hallatud reeglid, mis keelavad Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ja meta-externalagent, lisab Content Signals rea ning blokeerib AI-treeningrobotid ka servas, välja arvatud robotid, mida kasutatakse nii otsinguks kui ka treenimiseks.
Enamikule saitidele, mis tahavad AI-viiteid, on turvaline kombinatsioon Search ja Agent väärtusel Allow ning Training väärtusel Disallow, seejärel AI Crawl Controlis üksikud Block-toimingud ainult treenimiseks mõeldud robotitele, mida tahad servas peatada.
Mis muutus Cloudflare'i AI-robotite vaikeseadetes?
1. juulil 2025 teatas Cloudflare, et muudab vaikeseadet nii, et AI-robotid blokeeritakse, kui nad sisuloojatele ei maksa. 1. juulil 2026 asendas see ühe Block AI bots lüliti ülalkirjeldatud eraldi Search, Agent ja Training poliitikatega kõigis pakettides, sealhulgas Free. Sama teadaanne ütles, et alates 15. septembrist 2026 lisatavatel uutel domeenidel on reklaame näitavatel lehtedel Training ja Agent blokeeritud ning Search lubatud.
Cloudflare'i praegune poliitikadokumentatsioon, viimati uuendatud 2. novembril 2026, ütleb, et uute domeenide vaikeväärtus on kõigi kolme käitumise puhul Allow (do not block). Kuna Cloudflare'i enda lehed on eri aegadel kirjeldanud erinevaid vaikeseadeid, ära toetu oma tsooni puhul ühelegi neist: ava poliitikaleht ja loe, mis on seadistatud.
Miks Cloudflare blokeerib AI-roboteid endiselt, kuigi ma lubasin need?
AI Crawl Controli Allow-toiming peatab ainult AI Crawl Controli enda blokeerimise. Teised funktsioonid toimivad päringule edasi. Levinud põhjused:
- Trainingu blokeerimine blokeerib ka otsingurobotid, mis teevad mõlemat. Cloudflare'i dokumentatsioon ütleb, et Training-toimingud kehtivad segaotstarbelistele robotitele, ja selle juuli 2026 teadaanne nimetab Googleboti, Applebot'i ja bingboti robotiteks, mida Trainingu blokeerivad kliendid alates 15. septembrist 2026 blokeerivad. Disallow on kitsam valik, sest selle servablokeering jätab segaotstarbelised robotid vahele.
- Bot Fight Mode on sees. Cloudflare ütleb, et Bot Fight Mode'i ei saa WAF-i kohandatud reeglite ega Page Rules'iga mööda minna ega vahele jätta. Kui see esitab robotile kontrolli, lülita see välja või kasuta paketis, kus see on olemas, Super Bot Fight Mode'i, mis toetab vahelejätmise reegleid.
- Vanem WAF-i kohandatud reegel blokeerib user agent'id, mis sisaldavad sõna
bot, või päringute piiramise reegel vastab päringupursetele koodiga 429. Need töötavad sõltumata AI Crawl Controli Actionist. - Blokeerimisreeglit on käsitsi muudetud. Kui AI Crawl Controli taga olev WAF-i reegel muudeti teisele vastuse koodile, ei saa juhtpaneel sinu valikut enam jõustada.
- robots.txt keelab robotit endiselt. Cloudflare'i Allow ei muuda sinu robots.txt-d, nii et viisakas robot hoiab ikkagi eemale. Meie uuringus 1000 populaarseima domeeni kohta blokeeris 155-st saidist, mis keelasid robots.txt-s AI-treeningroboti, 98 ka vähemalt ühe AI-otsingu- või kasutajaroboti.
Kuidas väljastpoolt kontrollida, milliseid AI-roboteid Cloudflare sisse laseb?
Küsi sama lehte brauseri user agent'iga ja iga roboti user agent'iga ning võrdle olekut ja suurust. Allpool olevad OpenAI, Perplexity ja Google'i stringid on need, mida need ettevõtted avaldavad.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Roboti rida koodiga 403, 429 või 503 või brauseri reast palju väiksema suurusega tähendab, et midagi sinu lähteserveri ees vastas teisiti. Free paketis tuvastab AI Crawl Control roboteid user agent'i järgi, nii et see test kontrollib selle blokeeringuid mõistlikult hästi. Kinnitatud roboti olekule või robotiskooridele põhinevad reeglid võivad sinu päringut käsitleda teisiti kui päris robotit, sest see tuleb sinu IP-aadressilt, mitte haldaja avaldatud vahemikest. Pärast testimist leia Security Analyticsist oma päringud, et näha, milline reegel rakendus.
Kuidas AISeeWhy kontrollib, mida Cloudflare AI-robotitele saadab?
Tasuta AISeeWhy kontroll küsib sinu lehte 16 AI- ja otsinguroboti nimel päris brauseri kõrval, rakendab sinu robots.txt-d roboti kaupa ja tunneb ära tulemüüri kontrollilehed, nii et näed, kas Cloudflare'i juhtpaneeli tulemus vastab sellele, mida robotid päriselt saavad.
Selle probleemi parandused
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- AI-robotite IP kontroll
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas Cloudflare AI Crawl Control on tasuta?
Jah. Cloudflare loetleb AI Crawl Controli kõigis pakettides saadavana. Free pakett tuvastab robotid ainult user agent'i järgi ja näitab Metricsis viimast 24 tundi; suunamisandmed ja kohandatud blokeerimisvastused vajavad tasulist paketti.
Mis juhtus Cloudflare AI Auditiga?
See nimetati ümber. Cloudflare'i dokumentatsioon kirjeldab AI Crawl Controli kui endist AI Auditit, millel on sama eesmärk: näha, millised AI-robotid külastavad, ja määrata igaühe jaoks toiming.
Kas roboti blokeerimine AI Crawl Controlis muudab minu robots.txt-d?
Ei. Block-toiming loob või uuendab WAF-i kohandatud reegli. robots.txt muutub ainult siis, kui kasutad Trainingu jaoks Disallow valikut koos Bot Preference Synciga, mis lisab Cloudflare'i hallatud reeglid sinu faili algusesse.
Mida loetakse Cloudflare'is robots.txt rikkumiseks?
AI-roboti päringut teele, mille sinu robots.txt keelab. Cloudflare võrdleb varasemaid päringuid sinu praeguste reeglitega, nii et uus reegel võib märgistada vanemaid päringuid, mis olid tol hetkel lubatud.
Mis on pay per crawl?
Charge-toiming, mis palub AI-robotitel maksta päringu eest ja vastab muidu HTTP 402 ja hinnaga. Cloudflare kirjeldab seda suletud beetana ning WAF-i või Bot Managementi blokeeringud on sellest eelistatud.
Allikad
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11