Cómo leer el informe AI Crawl Control de Cloudflare y ver qué rastreadores de IA entran

Publicado

Respuesta corta

Abre AI Crawl Control en el panel de Cloudflare: la lista de rastreadores muestra cada rastreador de IA que Cloudflare ha visto en tu dominio, sus solicitudes, sus infracciones de robots.txt y si su acción es Allow o Block. Para mantener la búsqueda con IA y rechazar el entrenamiento, permite los rastreadores de búsqueda y de agentes y bloquea o excluye los de entrenamiento allí mismo o en las políticas AI Crawler and Agent access. Después confírmalo desde fuera con curl, porque otras funciones de Cloudflare pueden seguir bloqueando un rastreador que permitiste.

Cloudflare tiene ahora dos lugares que deciden qué reciben los rastreadores de IA: AI Crawl Control, el informe y panel de control por rastreador que antes se llamaba AI Audit, y las políticas AI Crawler and Agent access para toda la zona, en los ajustes de Security. Ambos están disponibles en el plan Free, ambos cambiaron durante 2026 y ninguno te informa de todas las demás funciones que aún pueden responder a un rastreador con un 403. Esta guía recorre el informe columna por columna, muestra dónde permitir y bloquear y termina con una prueba que puedes ejecutar desde tu propio equipo.

En esta página
  1. ¿Dónde está el informe de rastreadores de IA en Cloudflare?
  2. ¿Qué significa cada columna y métrica del informe AI Crawl Control?
  3. ¿Cómo permito los rastreadores de búsqueda con IA y bloqueo los de entrenamiento en Cloudflare?
  4. ¿Qué cambió en los valores por defecto de Cloudflare para rastreadores de IA?
  5. ¿Por qué Cloudflare sigue bloqueando rastreadores de IA después de permitirlos?
  6. ¿Cómo confirmo desde fuera qué rastreadores de IA deja pasar Cloudflare?
  7. ¿Cómo comprueba AISeeWhy lo que Cloudflare envía a los rastreadores de IA?

¿Dónde está el informe de rastreadores de IA en Cloudflare?

En el panel, selecciona tu cuenta y tu dominio y abre AI Crawl Control. Cloudflare dice que funciona sin configuración y está disponible en todos los planes, siempre que el tráfico de tu dominio pase por el proxy de Cloudflare. Tiene cuatro áreas:

Dos límites de plan importan al leer las cifras. En el plan Free, AI Crawl Control reconoce los rastreadores solo por su cadena de user agent, así que ve los que se identifican y nada más, y la pestaña Metrics abarca las últimas 24 horas. Los planes de pago añaden la detección mediante el ID de detección de Bot Management, y Enterprise con Bot Management tiene intervalos de tiempo configurables.

¿Qué significa cada columna y métrica del informe AI Crawl Control?

Cloudflare documenta los campos así. Las definiciones importan, porque varias cifras cuentan más de lo que cabría esperar.

Lee el informe a partir de la acción que elegiste. Un rastreador con Allow debería mostrar sobre todo solicitudes permitidas y códigos 2xx. Si muestra muchas solicitudes fallidas, abre la distribución de códigos de estado filtrada por ese rastreador y revisa Security Analytics para encontrar la regla que respondió.

¿Cómo permito los rastreadores de búsqueda con IA y bloqueo los de entrenamiento en Cloudflare?

Puedes hacerlo por rastreador o por comportamiento. Por rastreador, abre AI Crawl Control y fija la acción de cada fila. Cloudflare dice que bloquear ahí crea o actualiza una regla personalizada del WAF en tu zona, que puedes ampliar en el WAF con excepciones por ruta. En los planes de pago puedes elegir si los rastreadores bloqueados reciben un 403 o un 402 y definir un cuerpo en texto plano.

Por comportamiento, ve a Security, luego a Settings, filtra por Bot traffic y abre AI Crawler and Agent access policies. Cloudflare clasifica el tráfico de IA en tres comportamientos, y cada política se aplica a los bots verificados con ese comportamiento y a los bots no verificados que coinciden:

Cada comportamiento puede fijarse en Block, Block on pages with ads o Allow (do not block). Training tiene además Disallow, que solo se lo pide a los rastreadores mediante robots.txt. Con Bot Preference Sync activado, Cloudflare antepone a tu robots.txt reglas gestionadas que bloquean Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot y meta-externalagent, añade una línea de Content Signals y además bloquea en el borde los rastreadores de entrenamiento de IA, salvo los que se usan tanto para búsqueda como para entrenamiento.

Para la mayoría de los sitios que quieren citas en IA, la combinación segura es Search y Agent en Allow y Training en Disallow, y después acciones Block individuales en AI Crawl Control para los rastreadores solo de entrenamiento que quieras frenar en el borde.

¿Qué cambió en los valores por defecto de Cloudflare para rastreadores de IA?

El 1 de julio de 2025, Cloudflare anunció que cambiaba el valor por defecto para bloquear los rastreadores de IA salvo que pagaran a los creadores. El 1 de julio de 2026 sustituyó el interruptor único Block AI bots por las políticas separadas Search, Agent y Training descritas arriba, para todos los planes, incluido Free. El mismo anuncio decía que los dominios nuevos dados de alta a partir del 15 de septiembre de 2026 tendrían Training y Agent bloqueados en las páginas con anuncios y Search permitido.

La documentación actual de políticas de Cloudflare, actualizada por última vez el 2 de noviembre de 2026, dice que los dominios nuevos tienen por defecto Allow (do not block) en los tres comportamientos. Como las propias páginas de Cloudflare han descrito valores por defecto distintos en distintos momentos, no te fíes de ninguna para tu zona: abre la página de políticas y mira qué está configurado.

¿Por qué Cloudflare sigue bloqueando rastreadores de IA después de permitirlos?

La acción Allow de AI Crawl Control solo impide que AI Crawl Control bloquee. Otras funciones siguen actuando sobre la solicitud. Causas habituales:

¿Cómo confirmo desde fuera qué rastreadores de IA deja pasar Cloudflare?

Solicita la misma página con el user agent de un navegador y con el de cada rastreador, y compara el estado y el tamaño. Las cadenas de OpenAI, Perplexity y Google de abajo son las que publican esas empresas.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Una línea de rastreador con 403, 429 o 503, o con un tamaño mucho menor que la del navegador, significa que algo delante de tu servidor de origen respondió de otra forma. En el plan Free, AI Crawl Control detecta los rastreadores por user agent, así que esta prueba es una comprobación razonable de sus bloqueos. Las reglas basadas en el estado de bot verificado o en puntuaciones de bots pueden tratar tu solicitud de forma distinta que al rastreador real, porque llega desde tu dirección IP y no desde los rangos publicados del operador. Después de probar, busca tus propias solicitudes en Security Analytics para ver qué regla coincidió.

¿Cómo comprueba AISeeWhy lo que Cloudflare envía a los rastreadores de IA?

La comprobación gratuita de AISeeWhy solicita tu página como 16 rastreadores de IA y de búsqueda junto a un navegador real, aplica tu robots.txt para cada rastreador y reconoce las páginas de verificación de los cortafuegos, para que veas si lo que indica el panel de Cloudflare coincide con lo que reciben de verdad los rastreadores.

Correcciones para este problema

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿AI Crawl Control de Cloudflare es gratis?

Sí. Cloudflare indica que AI Crawl Control está disponible en todos los planes. El plan Free detecta los rastreadores solo por user agent y muestra las últimas 24 horas en Metrics; los datos de referencias y las respuestas de bloqueo personalizadas requieren un plan de pago.

¿Qué pasó con Cloudflare AI Audit?

Cambió de nombre. La documentación de Cloudflare describe AI Crawl Control como el antiguo AI Audit, con el mismo propósito: ver qué rastreadores de IA visitan el sitio y fijar una acción para cada uno.

¿Bloquear un rastreador en AI Crawl Control cambia mi robots.txt?

No. Una acción Block crea o actualiza una regla personalizada del WAF. robots.txt solo cambia si usas la opción Disallow de Training con Bot Preference Sync, que antepone las reglas gestionadas de Cloudflare a tu archivo.

¿Qué cuenta como infracción de robots.txt en Cloudflare?

Una solicitud de un rastreador de IA a una ruta que tu robots.txt bloquea. Cloudflare compara las solicitudes pasadas con tus reglas actuales, así que una regla nueva puede marcar solicitudes antiguas que en su momento estaban permitidas.

¿Qué es pay per crawl?

Una acción Charge que pide a los rastreadores de IA que paguen por cada solicitud y, si no, responde con HTTP 402 y un precio. Cloudflare la describe como una beta cerrada, y los bloqueos del WAF o de Bot Management tienen prioridad sobre ella.

Fuentes

Más artículos