Com llegir l'informe AI Crawl Control de Cloudflare i veure quins rastrejadors d'IA entren
Obre AI Crawl Control al tauler de Cloudflare: la llista de rastrejadors mostra tots els rastrejadors d'IA que Cloudflare ha vist al teu domini, les seves peticions, les infraccions del robots.txt i si la seva acció és Allow o Block. Per mantenir la cerca amb IA i rebutjar l'entrenament, permet els rastrejadors de cerca i d'agent i bloqueja o exclou els d'entrenament allà mateix o a les polítiques AI Crawler and Agent access. Després confirma-ho des de fora amb curl, perquè altres funcions de Cloudflare encara poden bloquejar un rastrejador que has permès.
Ara Cloudflare té dos llocs que decideixen què reben els rastrejadors d'IA: AI Crawl Control, l'informe i quadre de control per rastrejador que abans es deia AI Audit, i les polítiques AI Crawler and Agent access de tota la zona, a la configuració de seguretat. Tots dos estan disponibles al pla Free, tots dos han canviat durant el 2026 i cap dels dos no t'informa de totes les altres funcions que encara poden respondre un rastrejador amb un 403. Aquesta guia repassa l'informe columna per columna, mostra on configurar què es permet i què es bloqueja, i acaba amb una prova que pots fer des del teu ordinador.
En aquesta pàgina
- On és l'informe de rastrejadors d'IA a Cloudflare?
- Què vol dir cada columna i mètrica de l'informe AI Crawl Control?
- Com permeto els rastrejadors de cerca amb IA i bloquejo els d'entrenament a Cloudflare?
- Què ha canviat en la configuració per defecte de Cloudflare per als rastrejadors d'IA?
- Per què Cloudflare continua bloquejant els rastrejadors d'IA després de permetre'ls?
- Com confirmo des de fora quins rastrejadors d'IA deixa passar Cloudflare?
- Com comprova AISeeWhy què envia Cloudflare als rastrejadors d'IA?
On és l'informe de rastrejadors d'IA a Cloudflare?
Al tauler, selecciona el compte i el domini i obre AI Crawl Control. Cloudflare diu que funciona sense configuració i que està disponible a tots els plans, sempre que el trànsit del domini passi pel proxy de Cloudflare. Té quatre apartats:
- Overview: un resum executiu amb el total de peticions, el canvi de volum, el codi d'estat més freqüent, el camí més popular i els rastrejadors amb més volum, a més de si el robots.txt gestionat de Cloudflare està activat, i els rastrejadors agrupats per operador, com OpenAI, Microsoft, Google, ByteDance, Anthropic i Meta.
- La llista de rastrejadors: una fila per rastrejador d'IA, amb una columna Action on tries Allow o Block. La documentació de Cloudflare anomena aquesta pestanya Crawlers en una pàgina i Security en una altra, així que busca la taula amb la columna Action.
- Metrics: peticions al llarg del temps, distribució de codis d'estat, format del contingut, camins més populars i, als plans de pagament, referències. Els filtres cobreixen l'interval de dates, el rastrejador, l'operador, el nom d'amfitrió i el camí, i pots exportar un CSV.
- Directives: l'estat del teu fitxer robots.txt i la llista d'infraccions del robots.txt.
Hi ha dos límits dels plans que importen quan llegeixes les xifres. Al pla Free, AI Crawl Control reconeix els rastrejadors només per la cadena del user agent, així que només veu els que s'identifiquen, i la pestanya Metrics cobreix les darreres 24 hores. Els plans de pagament hi afegeixen la detecció a través de l'ID de detecció de Bot Management, i Enterprise amb Bot Management té períodes configurables.
Què vol dir cada columna i mètrica de l'informe AI Crawl Control?
Cloudflare documenta els camps així. Les definicions importen, perquè algunes xifres compten més coses de les que esperaries.
- Crawler i Category: el nom del rastrejador, el seu operador i la categoria, com AI crawler, AI assistant o archiver.
- Requests: peticions permeses més peticions fallides, amb un gràfic de tendència. Les peticions fallides poden venir de qualsevol regla o error de resposta, no només d'un bloqueig d'AI Crawl Control, així que una xifra alta per a un rastrejador que has permès apunta a una altra regla o a errors del teu servidor d'origen.
- Allowed requests: peticions que han rebut un estat entre 200 i 299. La transferència de dades es mesura a partir dels bytes que Cloudflare ha enviat per a les peticions permeses.
- Robots.txt violations: quantes vegades el rastrejador ha demanat un camí que el teu robots.txt bloqueja. Cloudflare compara les peticions passades amb les regles actuals, així que una regla que afegeixis avui pot marcar peticions que estaven permeses quan es van fer.
- Action: Allow, Block o, per als comptes de la beta de pay per crawl, Charge.
- Distribució de codis d'estat: 2xx, 3xx, 4xx i 5xx. El grup 4xx inclou els 403 dels bloquejos i els 402 de pay per crawl.
- Referències i principals referents, només als plans de pagament: visites que arriben des de serveis d'IA, per exemple des de chatgpt.com, i les pàgines on han aterrat.
Llegeix l'informe a partir de l'acció que has triat. Un rastrejador amb Allow hauria de mostrar sobretot peticions permeses i codis 2xx. Si mostra moltes peticions fallides, obre la distribució de codis d'estat filtrada per aquell rastrejador i revisa Security Analytics per trobar la regla que ha respost.
Com permeto els rastrejadors de cerca amb IA i bloquejo els d'entrenament a Cloudflare?
Ho pots fer per rastrejador o per comportament. Per rastrejador, obre AI Crawl Control i defineix l'Action de cada fila. Cloudflare diu que bloquejar des d'allà crea o actualitza una regla personalitzada del WAF a la teva zona, que pots ampliar al WAF amb excepcions de camí. Als plans de pagament pots triar si els rastrejadors bloquejats reben un 403 o un 402 i definir un cos de text pla.
Per comportament, ves a Security, després a Settings, filtra per Bot traffic i obre AI Crawler and Agent access policies. Cloudflare classifica el trànsit d'IA en tres comportaments, i cada política s'aplica als bots verificats amb aquell comportament i als bots no verificats que hi encaixen:
- Search: recollir o indexar contingut per poder respondre preguntes més endavant.
- Agent: actuar en temps real en nom d'una persona, com les obtencions des d'un xat i els agents de navegador.
- Training: recollir contingut per entrenar o ajustar models, inclosos els rastrejadors que serveixen tant per a l'entrenament com per a la cerca.
Cada comportament es pot configurar com a Block, Block on pages with ads o Allow (do not block). Training també té Disallow, que només ho demana als rastrejadors a través del robots.txt. Amb Bot Preference Sync activat, Cloudflare afegeix al principi del teu robots.txt regles gestionades que bloquegen Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot i meta-externalagent, hi afegeix una línia de Content Signals i, a més, bloqueja a la vora de la xarxa els rastrejadors d'entrenament d'IA, excepte els que serveixen tant per a la cerca com per a l'entrenament.
Per a la majoria de llocs que volen cites a la IA, la combinació segura és Search i Agent a Allow i Training a Disallow, i després accions Block individuals a AI Crawl Control per als rastrejadors només d'entrenament que vulguis aturar a la vora de la xarxa.
Què ha canviat en la configuració per defecte de Cloudflare per als rastrejadors d'IA?
L'1 de juliol de 2025, Cloudflare va anunciar que canviava la configuració per defecte per bloquejar els rastrejadors d'IA si no pagaven els creadors. L'1 de juliol de 2026 va substituir l'interruptor únic Block AI bots per les polítiques separades Search, Agent i Training descrites més amunt, a tots els plans, inclòs el Free. El mateix anunci deia que els dominis nous que s'incorporessin a partir del 15 de setembre de 2026 tindrien Training i Agent bloquejats a les pàgines que mostren anuncis, i Search permès.
La documentació actual de polítiques de Cloudflare, actualitzada per última vegada el 2 de novembre de 2026, diu que els dominis nous tenen per defecte Allow (do not block) per als tres comportaments. Com que les pàgines de Cloudflare han descrit valors per defecte diferents en moments diferents, no et fiïs de cap per a la teva zona: obre la pàgina de polítiques i mira què hi ha configurat.
Per què Cloudflare continua bloquejant els rastrejadors d'IA després de permetre'ls?
L'acció Allow d'AI Crawl Control només impedeix que AI Crawl Control bloquegi. Altres funcions continuen actuant sobre la petició. Causes habituals:
- Bloquejar Training també bloqueja els rastrejadors de cerca que fan totes dues coses. La documentació de Cloudflare diu que les accions de Training s'apliquen als rastrejadors de propòsit mixt, i el seu anunci de juliol de 2026 cita Googlebot, Applebot i bingbot com a rastrejadors que els clients que bloquegin Training bloquejaran a partir del 15 de setembre de 2026. Disallow és l'opció més limitada, perquè el seu bloqueig a la vora de la xarxa exclou els rastrejadors de propòsit mixt.
- Bot Fight Mode està activat. Cloudflare indica que no pots evitar ni saltar Bot Fight Mode amb regles personalitzades del WAF ni amb Page Rules. Si planteja un desafiament a un rastrejador, desactiva'l o, en un pla que en disposi, fes servir Super Bot Fight Mode, que admet regles d'omissió.
- Una regla personalitzada antiga del WAF bloqueja els user agents que contenen
bot, o una regla de limitació de freqüència respon als pics amb un 429. S'executen independentment de l'Action d'AI Crawl Control. - La regla de bloqueig s'ha editat a mà. Si la regla del WAF que hi ha darrere d'AI Crawl Control s'ha canviat a un altre codi de resposta, el tauler ja no pot aplicar la teva selecció.
- El robots.txt continua bloquejant el rastrejador. L'Allow de Cloudflare no canvia el teu robots.txt, així que un rastrejador educat no hi entrarà igualment. Al nostre estudi dels 1.000 dominis més populars, 98 dels 155 llocs que bloquejaven un rastrejador d'entrenament d'IA al robots.txt també bloquejaven almenys un rastrejador d'IA de cerca o d'usuari.
Com confirmo des de fora quins rastrejadors d'IA deixa passar Cloudflare?
Demana la mateixa pàgina amb un user agent de navegador i amb el user agent de cada rastrejador, i compara l'estat i la mida. Les cadenes d'OpenAI, Perplexity i Google que hi ha a continuació són les que publiquen aquestes empreses.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Una línia de rastrejador amb 403, 429 o 503, o amb una mida molt més petita que la del navegador, vol dir que alguna cosa davant del teu servidor d'origen ha respost de manera diferent. Al pla Free, AI Crawl Control detecta els rastrejadors pel user agent, així que aquesta prova comprova raonablement bé els seus bloquejos. Les regles basades en l'estat de bot verificat o en puntuacions de bots poden tractar la teva petició de manera diferent que el rastrejador real, perquè surt de la teva adreça IP i no dels rangs publicats per l'operador. Després de la prova, busca les teves peticions a Security Analytics per veure quina regla hi ha coincidit.
Com comprova AISeeWhy què envia Cloudflare als rastrejadors d'IA?
La comprovació gratuïta d'AISeeWhy demana la teva pàgina com a 16 rastrejadors d'IA i de cerca al costat d'un navegador real, aplica el teu robots.txt per a cada rastrejador i reconeix les pàgines de desafiament del tallafoc, perquè puguis veure si el que diu el tauler de Cloudflare coincideix amb el que reben de debò els rastrejadors.
Correccions per a aquest problema
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
AI Crawl Control de Cloudflare és gratuït?
Sí. Cloudflare indica que AI Crawl Control està disponible a tots els plans. El pla Free detecta els rastrejadors només pel user agent i mostra les darreres 24 hores a Metrics; les dades de referències i les respostes de bloqueig personalitzades requereixen un pla de pagament.
Què ha passat amb AI Audit de Cloudflare?
Li han canviat el nom. La documentació de Cloudflare descriu AI Crawl Control com l'antic AI Audit, amb el mateix objectiu: veure quins rastrejadors d'IA hi entren i definir una acció per a cadascun.
Bloquejar un rastrejador a AI Crawl Control canvia el meu robots.txt?
No. Una acció Block crea o actualitza una regla personalitzada del WAF. El robots.txt només canvia si fas servir l'opció Disallow per a Training amb Bot Preference Sync, que afegeix les regles gestionades de Cloudflare al principi del fitxer.
Què compta com a infracció del robots.txt a Cloudflare?
Una petició d'un rastrejador d'IA a un camí que el teu robots.txt bloqueja. Cloudflare compara les peticions passades amb les regles actuals, així que una regla nova pot marcar peticions antigues que en aquell moment estaven permeses.
Què és pay per crawl?
Una acció Charge que demana als rastrejadors d'IA que paguin per cada petició i que, si no, respon amb un HTTP 402 i un preu. Cloudflare la descriu com una beta tancada, i els bloquejos del WAF o de Bot Management hi tenen prioritat.
Fonts
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Informe d'accés dels rastrejadors d'IA, 2026-11