Cum citești raportul AI Crawl Control din Cloudflare și vezi ce crawlere AI intră
Deschide AI Crawl Control în panoul Cloudflare: lista de crawlere arată fiecare crawler AI pe care Cloudflare l-a văzut pe domeniul tău, cererile lui, încălcările robots.txt și dacă acțiunea lui este Allow sau Block. Ca să păstrezi căutarea AI și să refuzi antrenarea, permite crawlerele de căutare și agenții și blochează sau interzice crawlerele de antrenare acolo sau în AI Crawler and Agent access policies. Apoi confirmă din exterior cu curl, pentru că alte funcții Cloudflare pot bloca totuși un crawler pe care l-ai permis.
Cloudflare are acum două locuri care decid ce primesc crawlerele AI: AI Crawl Control, raportul și panoul de comandă pe crawler care se numea înainte AI Audit, și politicile AI Crawler and Agent access, valabile pentru toată zona, din setările Security. Ambele sunt disponibile în planul Free, ambele s-au schimbat în 2026 și niciunul nu îți spune despre toate celelalte funcții care pot răspunde totuși unui crawler cu un 403. Acest ghid parcurge raportul coloană cu coloană, arată unde setezi permiterea și blocarea și se încheie cu un test pe care îl poți rula de pe propriul calculator.
Pe această pagină
- Unde este raportul despre crawlerele AI în Cloudflare?
- Ce înseamnă fiecare coloană și metrică din raportul AI Crawl Control?
- Cum permit crawlerele de căutare AI și blochez crawlerele de antrenare în Cloudflare?
- Ce s-a schimbat în setările implicite Cloudflare pentru crawlerele AI?
- De ce Cloudflare blochează încă crawlerele AI după ce le-am permis?
- Cum confirm din exterior ce crawlere AI lasă Cloudflare să intre?
- Cum verifică AISeeWhy ce trimite Cloudflare crawlerelor AI?
Unde este raportul despre crawlerele AI în Cloudflare?
În panou, selectează contul și domeniul, apoi deschide AI Crawl Control. Cloudflare spune că funcționează fără configurare și este disponibil în toate planurile, atâta timp cât traficul domeniului trece prin proxy-ul Cloudflare. Are patru zone:
- Overview: un rezumat cu numărul total de cereri, schimbarea de volum, cel mai frecvent cod de status, cea mai populară cale și crawlerele cu volum mare, plus dacă robots.txt-ul gestionat de Cloudflare este activ și crawlerele grupate pe operator, cum ar fi OpenAI, Microsoft, Google, ByteDance, Anthropic și Meta.
- Lista de crawlere: câte un rând pentru fiecare crawler AI, cu o coloană Action în care alegi Allow sau Block. Documentația Cloudflare numește această filă Crawlers pe o pagină și Security pe alta, așa că uită-te după tabelul cu coloana Action.
- Metrics: cererile în timp, distribuția codurilor de status, formatul conținutului, cele mai populare căi și, în planurile plătite, referral-urile. Filtrele acoperă intervalul de date, crawlerul, operatorul, hostname-ul și calea, iar datele se pot exporta în CSV.
- Directives: starea fișierului robots.txt și lista încălcărilor robots.txt.
Două limite de plan contează când citești cifrele. În planul Free, AI Crawl Control recunoaște crawlerele doar după șirul user agent, deci vede crawlerele care se anunță și nimic altceva, iar fila Metrics acoperă ultimele 24 de ore. Planurile plătite adaugă detecția prin ID-ul de detecție din Bot Management, iar Enterprise cu Bot Management primește intervale de timp configurabile.
Ce înseamnă fiecare coloană și metrică din raportul AI Crawl Control?
Cloudflare documentează câmpurile după cum urmează. Definițiile contează, pentru că mai multe cifre numără mai mult decât te-ai aștepta.
- Crawler și Category: numele crawlerului, operatorul lui și categoria, cum ar fi AI crawler, AI assistant sau archiver.
- Requests: cererile permise plus cele nereușite, cu un grafic al tendinței. Cererile nereușite pot veni de la orice regulă sau eroare de răspuns, nu doar de la o blocare din AI Crawl Control, așa că un număr mare pentru un crawler permis indică o altă regulă sau erori pe serverul de origine.
- Allowed requests: cererile care au primit un status între 200 și 299. Transferul de date se măsoară din octeții trimiși de Cloudflare pentru cererile permise.
- Robots.txt violations: de câte ori a cerut crawlerul o cale pe care robots.txt o interzice. Cloudflare compară cererile trecute cu regulile actuale, așa că o regulă adăugată azi poate marca cereri care erau permise când au fost făcute.
- Action: Allow, Block sau, pentru conturile din beta-ul pay per crawl, Charge.
- Distribuția codurilor de status: 2xx, 3xx, 4xx și 5xx. Grupul 4xx include 403 de la blocări și 402 de la pay per crawl.
- Referrals și top referrers, doar în planurile plătite: vizitele venite de la servicii AI, de exemplu de la chatgpt.com, și paginile pe care au ajuns.
Citește raportul pornind de la acțiunea aleasă. Un crawler setat pe Allow ar trebui să arate mai ales cereri permise și coduri 2xx. Dacă arată multe cereri nereușite, deschide distribuția codurilor de status filtrată pe acel crawler și verifică Security Analytics ca să găsești regula care a răspuns.
Cum permit crawlerele de căutare AI și blochez crawlerele de antrenare în Cloudflare?
O poți face pe crawler sau după comportament. Pe crawler, deschide AI Crawl Control și setează Action pe fiecare rând. Cloudflare spune că blocarea de acolo creează sau actualizează o regulă WAF personalizată în zona ta, pe care o poți extinde în WAF cu excepții pentru anumite căi. În planurile plătite poți alege dacă crawlerele blocate primesc 403 sau 402 și poți seta un corp de răspuns în text simplu.
După comportament, mergi la Security, apoi la Settings, filtrează după Bot traffic și deschide AI Crawler and Agent access policies. Cloudflare împarte traficul AI în trei comportamente, iar fiecare politică se aplică boților verificați cu acel comportament și boților neverificați corespunzători:
- Search: colectarea sau indexarea conținutului pentru a răspunde ulterior la întrebări.
- Agent: acțiuni în timp real în numele unei persoane, cum ar fi descărcările din chat și agenții de browser.
- Training: colectarea conținutului pentru antrenarea sau ajustarea fină a modelelor, inclusiv crawlerele folosite atât pentru antrenare, cât și pentru căutare.
Fiecare comportament poate fi setat pe Block, Block on pages with ads sau Allow (do not block). Training are și Disallow, care doar le cere crawlerelor, prin robots.txt, să stea departe. Cu Bot Preference Sync activat, Cloudflare adaugă la începutul robots.txt reguli gestionate care interzic Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot și meta-externalagent, adaugă o linie Content Signals și blochează și crawlerele de antrenare AI la edge, cu excepția celor folosite atât pentru căutare, cât și pentru antrenare.
Pentru majoritatea site-urilor care vor citări în AI, combinația sigură este Search și Agent pe Allow și Training pe Disallow, apoi acțiuni Block individuale în AI Crawl Control pentru crawlerele doar de antrenare pe care vrei să le oprești la edge.
Ce s-a schimbat în setările implicite Cloudflare pentru crawlerele AI?
Pe 1 iulie 2025, Cloudflare a anunțat că schimbă setarea implicită astfel încât crawlerele AI să fie blocate dacă nu plătesc creatorii. Pe 1 iulie 2026, a înlocuit comutatorul unic Block AI bots cu politicile separate Search, Agent și Training descrise mai sus, pentru toate planurile, inclusiv Free. Același anunț spunea că domeniile noi adăugate începând cu 15 septembrie 2026 vor avea Training și Agent blocate pe paginile care afișează reclame, cu Search permis.
Documentația actuală a politicilor Cloudflare, actualizată ultima dată pe 2 noiembrie 2026, spune că domeniile noi au implicit Allow (do not block) pentru toate cele trei comportamente. Pentru că paginile Cloudflare au descris setări implicite diferite în momente diferite, nu te baza pe niciuna pentru zona ta: deschide pagina politicilor și citește ce este setat.
De ce Cloudflare blochează încă crawlerele AI după ce le-am permis?
Acțiunea Allow din AI Crawl Control oprește doar blocarea făcută de AI Crawl Control. Alte funcții acționează în continuare asupra cererii. Cauze frecvente:
- Blocarea Training blochează și crawlerele de căutare care fac ambele lucruri. Documentația Cloudflare spune că acțiunile Training se aplică crawlerelor cu scop mixt, iar anunțul din iulie 2026 numește Googlebot, Applebot și bingbot drept crawlere pe care clienții care blochează Training le vor bloca începând cu 15 septembrie 2026. Disallow este alegerea mai îngustă, pentru că blocarea lui la edge sare peste crawlerele cu scop mixt.
- Bot Fight Mode este activ. Cloudflare afirmă că Bot Fight Mode nu poate fi ocolit sau sărit cu reguli WAF personalizate sau Page Rules. Dacă pune crawlerul la verificare, dezactivează-l sau, într-un plan care îl are, folosește Super Bot Fight Mode, care acceptă reguli de excepție.
- O regulă WAF personalizată mai veche blochează user agent-urile care conțin
botsau o regulă de rate limiting răspunde la rafale cu 429. Acestea rulează indiferent de Action din AI Crawl Control. - Regula de blocare a fost editată manual. Dacă regula WAF din spatele AI Crawl Control a fost schimbată pe alt cod de răspuns, panoul nu mai poate aplica selecția ta.
- robots.txt interzice încă crawlerul. Allow din Cloudflare nu îți modifică robots.txt, așa că un crawler politicos stă oricum departe. În studiul nostru asupra celor mai populare 1.000 de domenii, 98 din cele 155 de site-uri care blocau un crawler de antrenare AI în robots.txt blocau și cel puțin un crawler AI de căutare sau de utilizator.
Cum confirm din exterior ce crawlere AI lasă Cloudflare să intre?
Cere aceeași pagină cu user agent-ul unui browser și cu user agent-ul fiecărui crawler, apoi compară statusul și dimensiunea. Șirurile OpenAI, Perplexity și Google de mai jos sunt cele publicate de aceste companii.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" O linie de crawler cu 403, 429 sau 503 ori cu o dimensiune mult mai mică decât linia browserului înseamnă că ceva din fața serverului de origine a răspuns diferit. În planul Free, AI Crawl Control detectează crawlerele după user agent, așa că testul acesta verifică rezonabil blocările lui. Regulile bazate pe statusul de bot verificat sau pe scorurile de bot pot trata cererea ta altfel decât pe cea a crawlerului real, pentru că vine de la adresa ta IP, nu din intervalele publicate de operator. După test, caută-ți cererile în Security Analytics ca să vezi ce regulă s-a potrivit.
Cum verifică AISeeWhy ce trimite Cloudflare crawlerelor AI?
Verificarea gratuită AISeeWhy îți cere pagina ca 16 crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare crawler și recunoaște paginile de verificare ale firewall-ului, ca să vezi dacă rezultatul din panoul Cloudflare corespunde cu ce primesc efectiv crawlerele.
Remedieri pentru această problemă
Pașii următori
- robots.txt tester și verificator pentru crawlere AI
- Verificare IP pentru crawlere AI
- Vezi un exemplu de raport complet
- Monitorizarea crawlerelor AI
- Planuri și prețuri
Crawlere din acest articol
Întrebări frecvente
Este gratuit AI Crawl Control din Cloudflare?
Da. Cloudflare listează AI Crawl Control ca disponibil în toate planurile. Planul Free detectează crawlerele doar după user agent și arată în Metrics ultimele 24 de ore; datele de referral și răspunsurile personalizate la blocare cer un plan plătit.
Ce s-a întâmplat cu Cloudflare AI Audit?
A fost redenumit. Documentația Cloudflare descrie AI Crawl Control ca fostul AI Audit, cu același scop: să vezi ce crawlere AI te vizitează și să setezi o acțiune pentru fiecare.
Blocarea unui crawler în AI Crawl Control îmi modifică robots.txt?
Nu. O acțiune Block creează sau actualizează o regulă WAF personalizată. robots.txt se schimbă doar dacă folosești opțiunea Disallow pentru Training cu Bot Preference Sync, care adaugă la începutul fișierului regulile gestionate de Cloudflare.
Ce se consideră încălcare a robots.txt în Cloudflare?
O cerere a unui crawler AI către o cale pe care robots.txt o interzice. Cloudflare compară cererile trecute cu regulile actuale, așa că o regulă nouă poate marca cereri mai vechi care erau permise la momentul lor.
Ce este pay per crawl?
O acțiune Charge care le cere crawlerelor AI să plătească pentru fiecare cerere și, altfel, răspunde cu HTTP 402 și un preț. Cloudflare o descrie ca beta închisă, iar blocările din WAF sau Bot Management au prioritate față de ea.
Surse
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: raport privind accesul crawlerelor AI, 2026-11