Com llegir l'informe AI Crawl Control de Cloudflare i veure quins rastrejadors d'IA entren

Publicat

Resposta breu

Obre AI Crawl Control al tauler de Cloudflare: la llista de rastrejadors mostra tots els rastrejadors d'IA que Cloudflare ha vist al teu domini, les seves peticions, les infraccions del robots.txt i si la seva acció és Allow o Block. Per mantenir la cerca amb IA i rebutjar l'entrenament, permet els rastrejadors de cerca i d'agent i bloqueja o exclou els d'entrenament allà mateix o a les polítiques AI Crawler and Agent access. Després confirma-ho des de fora amb curl, perquè altres funcions de Cloudflare encara poden bloquejar un rastrejador que has permès.

Ara Cloudflare té dos llocs que decideixen què reben els rastrejadors d'IA: AI Crawl Control, l'informe i quadre de control per rastrejador que abans es deia AI Audit, i les polítiques AI Crawler and Agent access de tota la zona, a la configuració de seguretat. Tots dos estan disponibles al pla Free, tots dos han canviat durant el 2026 i cap dels dos no t'informa de totes les altres funcions que encara poden respondre un rastrejador amb un 403. Aquesta guia repassa l'informe columna per columna, mostra on configurar què es permet i què es bloqueja, i acaba amb una prova que pots fer des del teu ordinador.

En aquesta pàgina
  1. On és l'informe de rastrejadors d'IA a Cloudflare?
  2. Què vol dir cada columna i mètrica de l'informe AI Crawl Control?
  3. Com permeto els rastrejadors de cerca amb IA i bloquejo els d'entrenament a Cloudflare?
  4. Què ha canviat en la configuració per defecte de Cloudflare per als rastrejadors d'IA?
  5. Per què Cloudflare continua bloquejant els rastrejadors d'IA després de permetre'ls?
  6. Com confirmo des de fora quins rastrejadors d'IA deixa passar Cloudflare?
  7. Com comprova AISeeWhy què envia Cloudflare als rastrejadors d'IA?

On és l'informe de rastrejadors d'IA a Cloudflare?

Al tauler, selecciona el compte i el domini i obre AI Crawl Control. Cloudflare diu que funciona sense configuració i que està disponible a tots els plans, sempre que el trànsit del domini passi pel proxy de Cloudflare. Té quatre apartats:

Hi ha dos límits dels plans que importen quan llegeixes les xifres. Al pla Free, AI Crawl Control reconeix els rastrejadors només per la cadena del user agent, així que només veu els que s'identifiquen, i la pestanya Metrics cobreix les darreres 24 hores. Els plans de pagament hi afegeixen la detecció a través de l'ID de detecció de Bot Management, i Enterprise amb Bot Management té períodes configurables.

Què vol dir cada columna i mètrica de l'informe AI Crawl Control?

Cloudflare documenta els camps així. Les definicions importen, perquè algunes xifres compten més coses de les que esperaries.

Llegeix l'informe a partir de l'acció que has triat. Un rastrejador amb Allow hauria de mostrar sobretot peticions permeses i codis 2xx. Si mostra moltes peticions fallides, obre la distribució de codis d'estat filtrada per aquell rastrejador i revisa Security Analytics per trobar la regla que ha respost.

Com permeto els rastrejadors de cerca amb IA i bloquejo els d'entrenament a Cloudflare?

Ho pots fer per rastrejador o per comportament. Per rastrejador, obre AI Crawl Control i defineix l'Action de cada fila. Cloudflare diu que bloquejar des d'allà crea o actualitza una regla personalitzada del WAF a la teva zona, que pots ampliar al WAF amb excepcions de camí. Als plans de pagament pots triar si els rastrejadors bloquejats reben un 403 o un 402 i definir un cos de text pla.

Per comportament, ves a Security, després a Settings, filtra per Bot traffic i obre AI Crawler and Agent access policies. Cloudflare classifica el trànsit d'IA en tres comportaments, i cada política s'aplica als bots verificats amb aquell comportament i als bots no verificats que hi encaixen:

Cada comportament es pot configurar com a Block, Block on pages with ads o Allow (do not block). Training també té Disallow, que només ho demana als rastrejadors a través del robots.txt. Amb Bot Preference Sync activat, Cloudflare afegeix al principi del teu robots.txt regles gestionades que bloquegen Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot i meta-externalagent, hi afegeix una línia de Content Signals i, a més, bloqueja a la vora de la xarxa els rastrejadors d'entrenament d'IA, excepte els que serveixen tant per a la cerca com per a l'entrenament.

Per a la majoria de llocs que volen cites a la IA, la combinació segura és Search i Agent a Allow i Training a Disallow, i després accions Block individuals a AI Crawl Control per als rastrejadors només d'entrenament que vulguis aturar a la vora de la xarxa.

Què ha canviat en la configuració per defecte de Cloudflare per als rastrejadors d'IA?

L'1 de juliol de 2025, Cloudflare va anunciar que canviava la configuració per defecte per bloquejar els rastrejadors d'IA si no pagaven els creadors. L'1 de juliol de 2026 va substituir l'interruptor únic Block AI bots per les polítiques separades Search, Agent i Training descrites més amunt, a tots els plans, inclòs el Free. El mateix anunci deia que els dominis nous que s'incorporessin a partir del 15 de setembre de 2026 tindrien Training i Agent bloquejats a les pàgines que mostren anuncis, i Search permès.

La documentació actual de polítiques de Cloudflare, actualitzada per última vegada el 2 de novembre de 2026, diu que els dominis nous tenen per defecte Allow (do not block) per als tres comportaments. Com que les pàgines de Cloudflare han descrit valors per defecte diferents en moments diferents, no et fiïs de cap per a la teva zona: obre la pàgina de polítiques i mira què hi ha configurat.

Per què Cloudflare continua bloquejant els rastrejadors d'IA després de permetre'ls?

L'acció Allow d'AI Crawl Control només impedeix que AI Crawl Control bloquegi. Altres funcions continuen actuant sobre la petició. Causes habituals:

Com confirmo des de fora quins rastrejadors d'IA deixa passar Cloudflare?

Demana la mateixa pàgina amb un user agent de navegador i amb el user agent de cada rastrejador, i compara l'estat i la mida. Les cadenes d'OpenAI, Perplexity i Google que hi ha a continuació són les que publiquen aquestes empreses.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Una línia de rastrejador amb 403, 429 o 503, o amb una mida molt més petita que la del navegador, vol dir que alguna cosa davant del teu servidor d'origen ha respost de manera diferent. Al pla Free, AI Crawl Control detecta els rastrejadors pel user agent, així que aquesta prova comprova raonablement bé els seus bloquejos. Les regles basades en l'estat de bot verificat o en puntuacions de bots poden tractar la teva petició de manera diferent que el rastrejador real, perquè surt de la teva adreça IP i no dels rangs publicats per l'operador. Després de la prova, busca les teves peticions a Security Analytics per veure quina regla hi ha coincidit.

Com comprova AISeeWhy què envia Cloudflare als rastrejadors d'IA?

La comprovació gratuïta d'AISeeWhy demana la teva pàgina com a 16 rastrejadors d'IA i de cerca al costat d'un navegador real, aplica el teu robots.txt per a cada rastrejador i reconeix les pàgines de desafiament del tallafoc, perquè puguis veure si el que diu el tauler de Cloudflare coincideix amb el que reben de debò els rastrejadors.

Correccions per a aquest problema

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

AI Crawl Control de Cloudflare és gratuït?

Sí. Cloudflare indica que AI Crawl Control està disponible a tots els plans. El pla Free detecta els rastrejadors només pel user agent i mostra les darreres 24 hores a Metrics; les dades de referències i les respostes de bloqueig personalitzades requereixen un pla de pagament.

Què ha passat amb AI Audit de Cloudflare?

Li han canviat el nom. La documentació de Cloudflare descriu AI Crawl Control com l'antic AI Audit, amb el mateix objectiu: veure quins rastrejadors d'IA hi entren i definir una acció per a cadascun.

Bloquejar un rastrejador a AI Crawl Control canvia el meu robots.txt?

No. Una acció Block crea o actualitza una regla personalitzada del WAF. El robots.txt només canvia si fas servir l'opció Disallow per a Training amb Bot Preference Sync, que afegeix les regles gestionades de Cloudflare al principi del fitxer.

Què compta com a infracció del robots.txt a Cloudflare?

Una petició d'un rastrejador d'IA a un camí que el teu robots.txt bloqueja. Cloudflare compara les peticions passades amb les regles actuals, així que una regla nova pot marcar peticions antigues que en aquell moment estaven permeses.

Què és pay per crawl?

Una acció Charge que demana als rastrejadors d'IA que paguin per cada petició i que, si no, respon amb un HTTP 402 i un preu. Cloudflare la descriu com una beta tancada, i els bloquejos del WAF o de Bot Management hi tenen prioritat.

Fonts

Més articles