Cómo leer el informe AI Crawl Control de Cloudflare y ver qué rastreadores de IA entran
Abre AI Crawl Control en el panel de Cloudflare: la lista de rastreadores muestra cada rastreador de IA que Cloudflare ha visto en tu dominio, sus solicitudes, sus infracciones de robots.txt y si su acción es Allow o Block. Para mantener la búsqueda con IA y rechazar el entrenamiento, permite los rastreadores de búsqueda y de agentes y bloquea o excluye los de entrenamiento allí mismo o en las políticas AI Crawler and Agent access. Después confírmalo desde fuera con curl, porque otras funciones de Cloudflare pueden seguir bloqueando un rastreador que permitiste.
Cloudflare tiene ahora dos lugares que deciden qué reciben los rastreadores de IA: AI Crawl Control, el informe y panel de control por rastreador que antes se llamaba AI Audit, y las políticas AI Crawler and Agent access para toda la zona, en los ajustes de Security. Ambos están disponibles en el plan Free, ambos cambiaron durante 2026 y ninguno te informa de todas las demás funciones que aún pueden responder a un rastreador con un 403. Esta guía recorre el informe columna por columna, muestra dónde permitir y bloquear y termina con una prueba que puedes ejecutar desde tu propio equipo.
En esta página
- ¿Dónde está el informe de rastreadores de IA en Cloudflare?
- ¿Qué significa cada columna y métrica del informe AI Crawl Control?
- ¿Cómo permito los rastreadores de búsqueda con IA y bloqueo los de entrenamiento en Cloudflare?
- ¿Qué cambió en los valores por defecto de Cloudflare para rastreadores de IA?
- ¿Por qué Cloudflare sigue bloqueando rastreadores de IA después de permitirlos?
- ¿Cómo confirmo desde fuera qué rastreadores de IA deja pasar Cloudflare?
- ¿Cómo comprueba AISeeWhy lo que Cloudflare envía a los rastreadores de IA?
¿Dónde está el informe de rastreadores de IA en Cloudflare?
En el panel, selecciona tu cuenta y tu dominio y abre AI Crawl Control. Cloudflare dice que funciona sin configuración y está disponible en todos los planes, siempre que el tráfico de tu dominio pase por el proxy de Cloudflare. Tiene cuatro áreas:
- Overview: un resumen ejecutivo con el total de solicitudes, la variación del volumen, el código de estado más frecuente, la ruta más solicitada y los rastreadores de mayor volumen, además de si el robots.txt gestionado de Cloudflare está activado, y los rastreadores agrupados por operador, como OpenAI, Microsoft, Google, ByteDance, Anthropic y Meta.
- La lista de rastreadores: una fila por rastreador de IA, con una columna Action en la que eliges Allow o Block. La documentación de Cloudflare llama a esta pestaña Crawlers en una página y Security en otra, así que busca la tabla con la columna Action.
- Metrics: solicitudes a lo largo del tiempo, distribución de códigos de estado, formato del contenido, rutas más solicitadas y, en los planes de pago, referencias. Los filtros abarcan intervalo de fechas, rastreador, operador, nombre de host y ruta, y puedes exportar un CSV.
- Directives: el estado de tu archivo robots.txt y la lista de infracciones de robots.txt.
Dos límites de plan importan al leer las cifras. En el plan Free, AI Crawl Control reconoce los rastreadores solo por su cadena de user agent, así que ve los que se identifican y nada más, y la pestaña Metrics abarca las últimas 24 horas. Los planes de pago añaden la detección mediante el ID de detección de Bot Management, y Enterprise con Bot Management tiene intervalos de tiempo configurables.
¿Qué significa cada columna y métrica del informe AI Crawl Control?
Cloudflare documenta los campos así. Las definiciones importan, porque varias cifras cuentan más de lo que cabría esperar.
- Crawler y Category: el nombre del rastreador, su operador y su categoría, como AI crawler, AI assistant o archiver.
- Requests: solicitudes permitidas más solicitudes fallidas, con un gráfico de tendencia. Las solicitudes fallidas pueden venir de cualquier regla o error de respuesta, no solo de un bloqueo de AI Crawl Control, así que una cifra alta en un rastreador que permitiste apunta a otra regla o a errores en tu servidor de origen.
- Allowed requests: solicitudes que recibieron un estado entre 200 y 299. La transferencia de datos se mide a partir de los bytes que Cloudflare envió en las solicitudes permitidas.
- Robots.txt violations: cuántas veces el rastreador solicitó una ruta que tu robots.txt bloquea. Cloudflare compara las solicitudes pasadas con tus reglas actuales, así que una regla que añades hoy puede marcar solicitudes que estaban permitidas cuando se hicieron.
- Action: Allow, Block o, para las cuentas de la beta de pay per crawl, Charge.
- Distribución de códigos de estado: 2xx, 3xx, 4xx y 5xx. El grupo 4xx incluye los 403 de los bloqueos y los 402 de pay per crawl.
- Referrals y principales referentes, solo en planes de pago: visitas que llegaron desde servicios de IA, por ejemplo desde chatgpt.com, y las páginas en las que aterrizaron.
Lee el informe a partir de la acción que elegiste. Un rastreador con Allow debería mostrar sobre todo solicitudes permitidas y códigos 2xx. Si muestra muchas solicitudes fallidas, abre la distribución de códigos de estado filtrada por ese rastreador y revisa Security Analytics para encontrar la regla que respondió.
¿Cómo permito los rastreadores de búsqueda con IA y bloqueo los de entrenamiento en Cloudflare?
Puedes hacerlo por rastreador o por comportamiento. Por rastreador, abre AI Crawl Control y fija la acción de cada fila. Cloudflare dice que bloquear ahí crea o actualiza una regla personalizada del WAF en tu zona, que puedes ampliar en el WAF con excepciones por ruta. En los planes de pago puedes elegir si los rastreadores bloqueados reciben un 403 o un 402 y definir un cuerpo en texto plano.
Por comportamiento, ve a Security, luego a Settings, filtra por Bot traffic y abre AI Crawler and Agent access policies. Cloudflare clasifica el tráfico de IA en tres comportamientos, y cada política se aplica a los bots verificados con ese comportamiento y a los bots no verificados que coinciden:
- Search: recopilar o indexar contenido para poder responder preguntas más tarde.
- Agent: actuar en tiempo real en nombre de una persona, como las consultas desde un chat y los agentes de navegador.
- Training: recopilar contenido para entrenar o ajustar modelos, incluidos los rastreadores que se usan tanto para entrenamiento como para búsqueda.
Cada comportamiento puede fijarse en Block, Block on pages with ads o Allow (do not block). Training tiene además Disallow, que solo se lo pide a los rastreadores mediante robots.txt. Con Bot Preference Sync activado, Cloudflare antepone a tu robots.txt reglas gestionadas que bloquean Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot y meta-externalagent, añade una línea de Content Signals y además bloquea en el borde los rastreadores de entrenamiento de IA, salvo los que se usan tanto para búsqueda como para entrenamiento.
Para la mayoría de los sitios que quieren citas en IA, la combinación segura es Search y Agent en Allow y Training en Disallow, y después acciones Block individuales en AI Crawl Control para los rastreadores solo de entrenamiento que quieras frenar en el borde.
¿Qué cambió en los valores por defecto de Cloudflare para rastreadores de IA?
El 1 de julio de 2025, Cloudflare anunció que cambiaba el valor por defecto para bloquear los rastreadores de IA salvo que pagaran a los creadores. El 1 de julio de 2026 sustituyó el interruptor único Block AI bots por las políticas separadas Search, Agent y Training descritas arriba, para todos los planes, incluido Free. El mismo anuncio decía que los dominios nuevos dados de alta a partir del 15 de septiembre de 2026 tendrían Training y Agent bloqueados en las páginas con anuncios y Search permitido.
La documentación actual de políticas de Cloudflare, actualizada por última vez el 2 de noviembre de 2026, dice que los dominios nuevos tienen por defecto Allow (do not block) en los tres comportamientos. Como las propias páginas de Cloudflare han descrito valores por defecto distintos en distintos momentos, no te fíes de ninguna para tu zona: abre la página de políticas y mira qué está configurado.
¿Por qué Cloudflare sigue bloqueando rastreadores de IA después de permitirlos?
La acción Allow de AI Crawl Control solo impide que AI Crawl Control bloquee. Otras funciones siguen actuando sobre la solicitud. Causas habituales:
- Bloquear Training también bloquea los rastreadores de búsqueda que hacen ambas cosas. La documentación de Cloudflare dice que las acciones de Training se aplican a los rastreadores de uso mixto, y su anuncio de julio de 2026 nombra a Googlebot, Applebot y bingbot como rastreadores que los clientes que bloquean Training bloquearán a partir del 15 de septiembre de 2026. Disallow es la opción más acotada, porque su bloqueo en el borde excluye a los rastreadores de uso mixto.
- Bot Fight Mode está activado. Cloudflare indica que no se puede eludir ni saltar Bot Fight Mode con reglas personalizadas del WAF ni con Page Rules. Si desafía a un rastreador, desactívalo o, en un plan que lo incluya, usa Super Bot Fight Mode, que admite reglas de omisión.
- Una regla personalizada antigua del WAF bloquea los user agents que contienen
bot, o una regla de limitación de velocidad responde a las ráfagas con un 429. Estas reglas se ejecutan independientemente de la acción de AI Crawl Control. - La regla de bloqueo se editó a mano. Si la regla del WAF que hay detrás de AI Crawl Control se cambió a otro código de respuesta, el panel ya no puede aplicar tu selección.
- robots.txt sigue bloqueando el rastreador. El Allow de Cloudflare no cambia tu robots.txt, así que un rastreador respetuoso se mantiene al margen de todos modos. En nuestro estudio de los 1.000 dominios más populares, 98 de los 155 sitios que bloqueaban un rastreador de entrenamiento de IA en robots.txt también bloqueaban al menos un rastreador de búsqueda o de usuario de IA.
¿Cómo confirmo desde fuera qué rastreadores de IA deja pasar Cloudflare?
Solicita la misma página con el user agent de un navegador y con el de cada rastreador, y compara el estado y el tamaño. Las cadenas de OpenAI, Perplexity y Google de abajo son las que publican esas empresas.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Una línea de rastreador con 403, 429 o 503, o con un tamaño mucho menor que la del navegador, significa que algo delante de tu servidor de origen respondió de otra forma. En el plan Free, AI Crawl Control detecta los rastreadores por user agent, así que esta prueba es una comprobación razonable de sus bloqueos. Las reglas basadas en el estado de bot verificado o en puntuaciones de bots pueden tratar tu solicitud de forma distinta que al rastreador real, porque llega desde tu dirección IP y no desde los rangos publicados del operador. Después de probar, busca tus propias solicitudes en Security Analytics para ver qué regla coincidió.
¿Cómo comprueba AISeeWhy lo que Cloudflare envía a los rastreadores de IA?
La comprobación gratuita de AISeeWhy solicita tu página como 16 rastreadores de IA y de búsqueda junto a un navegador real, aplica tu robots.txt para cada rastreador y reconoce las páginas de verificación de los cortafuegos, para que veas si lo que indica el panel de Cloudflare coincide con lo que reciben de verdad los rastreadores.
Correcciones para este problema
Próximos pasos
- Probador y comprobador de robots.txt para rastreadores de IA
- Comprobación de IP de rastreadores de IA
- Ver un ejemplo de informe completo
- Monitorización de rastreadores de IA
- Planes y precios
Rastreadores en este artículo
Preguntas frecuentes
¿AI Crawl Control de Cloudflare es gratis?
Sí. Cloudflare indica que AI Crawl Control está disponible en todos los planes. El plan Free detecta los rastreadores solo por user agent y muestra las últimas 24 horas en Metrics; los datos de referencias y las respuestas de bloqueo personalizadas requieren un plan de pago.
¿Qué pasó con Cloudflare AI Audit?
Cambió de nombre. La documentación de Cloudflare describe AI Crawl Control como el antiguo AI Audit, con el mismo propósito: ver qué rastreadores de IA visitan el sitio y fijar una acción para cada uno.
¿Bloquear un rastreador en AI Crawl Control cambia mi robots.txt?
No. Una acción Block crea o actualiza una regla personalizada del WAF. robots.txt solo cambia si usas la opción Disallow de Training con Bot Preference Sync, que antepone las reglas gestionadas de Cloudflare a tu archivo.
¿Qué cuenta como infracción de robots.txt en Cloudflare?
Una solicitud de un rastreador de IA a una ruta que tu robots.txt bloquea. Cloudflare compara las solicitudes pasadas con tus reglas actuales, así que una regla nueva puede marcar solicitudes antiguas que en su momento estaban permitidas.
¿Qué es pay per crawl?
Una acción Charge que pide a los rastreadores de IA que paguen por cada solicitud y, si no, responde con HTTP 402 y un precio. Cloudflare la describe como una beta cerrada, y los bloqueos del WAF o de Bot Management tienen prioridad sobre ella.
Fuentes
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11