Cum citești raportul AI Crawl Control din Cloudflare și vezi ce crawlere AI intră

Publicat

Răspuns scurt

Deschide AI Crawl Control în panoul Cloudflare: lista de crawlere arată fiecare crawler AI pe care Cloudflare l-a văzut pe domeniul tău, cererile lui, încălcările robots.txt și dacă acțiunea lui este Allow sau Block. Ca să păstrezi căutarea AI și să refuzi antrenarea, permite crawlerele de căutare și agenții și blochează sau interzice crawlerele de antrenare acolo sau în AI Crawler and Agent access policies. Apoi confirmă din exterior cu curl, pentru că alte funcții Cloudflare pot bloca totuși un crawler pe care l-ai permis.

Cloudflare are acum două locuri care decid ce primesc crawlerele AI: AI Crawl Control, raportul și panoul de comandă pe crawler care se numea înainte AI Audit, și politicile AI Crawler and Agent access, valabile pentru toată zona, din setările Security. Ambele sunt disponibile în planul Free, ambele s-au schimbat în 2026 și niciunul nu îți spune despre toate celelalte funcții care pot răspunde totuși unui crawler cu un 403. Acest ghid parcurge raportul coloană cu coloană, arată unde setezi permiterea și blocarea și se încheie cu un test pe care îl poți rula de pe propriul calculator.

Pe această pagină
  1. Unde este raportul despre crawlerele AI în Cloudflare?
  2. Ce înseamnă fiecare coloană și metrică din raportul AI Crawl Control?
  3. Cum permit crawlerele de căutare AI și blochez crawlerele de antrenare în Cloudflare?
  4. Ce s-a schimbat în setările implicite Cloudflare pentru crawlerele AI?
  5. De ce Cloudflare blochează încă crawlerele AI după ce le-am permis?
  6. Cum confirm din exterior ce crawlere AI lasă Cloudflare să intre?
  7. Cum verifică AISeeWhy ce trimite Cloudflare crawlerelor AI?

Unde este raportul despre crawlerele AI în Cloudflare?

În panou, selectează contul și domeniul, apoi deschide AI Crawl Control. Cloudflare spune că funcționează fără configurare și este disponibil în toate planurile, atâta timp cât traficul domeniului trece prin proxy-ul Cloudflare. Are patru zone:

Două limite de plan contează când citești cifrele. În planul Free, AI Crawl Control recunoaște crawlerele doar după șirul user agent, deci vede crawlerele care se anunță și nimic altceva, iar fila Metrics acoperă ultimele 24 de ore. Planurile plătite adaugă detecția prin ID-ul de detecție din Bot Management, iar Enterprise cu Bot Management primește intervale de timp configurabile.

Ce înseamnă fiecare coloană și metrică din raportul AI Crawl Control?

Cloudflare documentează câmpurile după cum urmează. Definițiile contează, pentru că mai multe cifre numără mai mult decât te-ai aștepta.

Citește raportul pornind de la acțiunea aleasă. Un crawler setat pe Allow ar trebui să arate mai ales cereri permise și coduri 2xx. Dacă arată multe cereri nereușite, deschide distribuția codurilor de status filtrată pe acel crawler și verifică Security Analytics ca să găsești regula care a răspuns.

Cum permit crawlerele de căutare AI și blochez crawlerele de antrenare în Cloudflare?

O poți face pe crawler sau după comportament. Pe crawler, deschide AI Crawl Control și setează Action pe fiecare rând. Cloudflare spune că blocarea de acolo creează sau actualizează o regulă WAF personalizată în zona ta, pe care o poți extinde în WAF cu excepții pentru anumite căi. În planurile plătite poți alege dacă crawlerele blocate primesc 403 sau 402 și poți seta un corp de răspuns în text simplu.

După comportament, mergi la Security, apoi la Settings, filtrează după Bot traffic și deschide AI Crawler and Agent access policies. Cloudflare împarte traficul AI în trei comportamente, iar fiecare politică se aplică boților verificați cu acel comportament și boților neverificați corespunzători:

Fiecare comportament poate fi setat pe Block, Block on pages with ads sau Allow (do not block). Training are și Disallow, care doar le cere crawlerelor, prin robots.txt, să stea departe. Cu Bot Preference Sync activat, Cloudflare adaugă la începutul robots.txt reguli gestionate care interzic Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot și meta-externalagent, adaugă o linie Content Signals și blochează și crawlerele de antrenare AI la edge, cu excepția celor folosite atât pentru căutare, cât și pentru antrenare.

Pentru majoritatea site-urilor care vor citări în AI, combinația sigură este Search și Agent pe Allow și Training pe Disallow, apoi acțiuni Block individuale în AI Crawl Control pentru crawlerele doar de antrenare pe care vrei să le oprești la edge.

Ce s-a schimbat în setările implicite Cloudflare pentru crawlerele AI?

Pe 1 iulie 2025, Cloudflare a anunțat că schimbă setarea implicită astfel încât crawlerele AI să fie blocate dacă nu plătesc creatorii. Pe 1 iulie 2026, a înlocuit comutatorul unic Block AI bots cu politicile separate Search, Agent și Training descrise mai sus, pentru toate planurile, inclusiv Free. Același anunț spunea că domeniile noi adăugate începând cu 15 septembrie 2026 vor avea Training și Agent blocate pe paginile care afișează reclame, cu Search permis.

Documentația actuală a politicilor Cloudflare, actualizată ultima dată pe 2 noiembrie 2026, spune că domeniile noi au implicit Allow (do not block) pentru toate cele trei comportamente. Pentru că paginile Cloudflare au descris setări implicite diferite în momente diferite, nu te baza pe niciuna pentru zona ta: deschide pagina politicilor și citește ce este setat.

De ce Cloudflare blochează încă crawlerele AI după ce le-am permis?

Acțiunea Allow din AI Crawl Control oprește doar blocarea făcută de AI Crawl Control. Alte funcții acționează în continuare asupra cererii. Cauze frecvente:

Cum confirm din exterior ce crawlere AI lasă Cloudflare să intre?

Cere aceeași pagină cu user agent-ul unui browser și cu user agent-ul fiecărui crawler, apoi compară statusul și dimensiunea. Șirurile OpenAI, Perplexity și Google de mai jos sunt cele publicate de aceste companii.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

O linie de crawler cu 403, 429 sau 503 ori cu o dimensiune mult mai mică decât linia browserului înseamnă că ceva din fața serverului de origine a răspuns diferit. În planul Free, AI Crawl Control detectează crawlerele după user agent, așa că testul acesta verifică rezonabil blocările lui. Regulile bazate pe statusul de bot verificat sau pe scorurile de bot pot trata cererea ta altfel decât pe cea a crawlerului real, pentru că vine de la adresa ta IP, nu din intervalele publicate de operator. După test, caută-ți cererile în Security Analytics ca să vezi ce regulă s-a potrivit.

Cum verifică AISeeWhy ce trimite Cloudflare crawlerelor AI?

Verificarea gratuită AISeeWhy îți cere pagina ca 16 crawlere AI și de căutare, alături de un browser real, aplică robots.txt pentru fiecare crawler și recunoaște paginile de verificare ale firewall-ului, ca să vezi dacă rezultatul din panoul Cloudflare corespunde cu ce primesc efectiv crawlerele.

Remedieri pentru această problemă

Instrumente gratuite

Pașii următori

Crawlere din acest articol

Întrebări frecvente

Este gratuit AI Crawl Control din Cloudflare?

Da. Cloudflare listează AI Crawl Control ca disponibil în toate planurile. Planul Free detectează crawlerele doar după user agent și arată în Metrics ultimele 24 de ore; datele de referral și răspunsurile personalizate la blocare cer un plan plătit.

Ce s-a întâmplat cu Cloudflare AI Audit?

A fost redenumit. Documentația Cloudflare descrie AI Crawl Control ca fostul AI Audit, cu același scop: să vezi ce crawlere AI te vizitează și să setezi o acțiune pentru fiecare.

Blocarea unui crawler în AI Crawl Control îmi modifică robots.txt?

Nu. O acțiune Block creează sau actualizează o regulă WAF personalizată. robots.txt se schimbă doar dacă folosești opțiunea Disallow pentru Training cu Bot Preference Sync, care adaugă la începutul fișierului regulile gestionate de Cloudflare.

Ce se consideră încălcare a robots.txt în Cloudflare?

O cerere a unui crawler AI către o cale pe care robots.txt o interzice. Cloudflare compară cererile trecute cu regulile actuale, așa că o regulă nouă poate marca cereri mai vechi care erau permise la momentul lor.

Ce este pay per crawl?

O acțiune Charge care le cere crawlerelor AI să plătească pentru fiecare cerere și, altfel, răspunde cu HTTP 402 și un preț. Cloudflare o descrie ca beta închisă, iar blocările din WAF sau Bot Management au prioritate față de ea.

Surse

Alte articole