AISeeWhy
ES
Empezar prueba gratuita

¿Cloudflare bloquea a los rastreadores de IA? Cómo saberlo y solucionarlo

Publicado

Respuesta corta

Cloudflare y otros cortafuegos pueden responder a los rastreadores de IA con un 403, un 429 o una página de verificación «Just a moment...» mientras los navegadores reciben la página real, aunque el robots.txt permita al rastreador. Compruébalo pidiendo la página con el user agent del rastreador y luego permite a los rastreadores de búsqueda de IA en AI Crawl Control o con una regla de omisión del WAF.

La protección contra bots existe para frenar el scraping y los abusos, y lo hace bien. El problema es que los rastreadores de búsqueda de IA también son bots. Un ajuste de seguridad activado hace años, un límite de peticiones o una regla amplia contra user agents desconocidos puede dejar fuera, sin que te enteres, a los rastreadores que te citan, mientras tus propias visitas se ven perfectamente normales.

En esta página
  1. ¿Por qué un cortafuegos bloquearía a los rastreadores de IA?
  2. ¿Cómo distingo un bloqueo del cortafuegos de uno del robots.txt?
  3. ¿Cómo permito a los rastreadores de búsqueda de IA en Cloudflare?
  4. ¿Qué pasa con el Bot Fight Mode?
  5. ¿A qué rastreadores debo dejar pasar?
  6. ¿Cómo detecta AISeeWhy los bloqueos del cortafuegos?

¿Por qué un cortafuegos bloquearía a los rastreadores de IA?

Los cortafuegos juzgan cada petición. Un rastreador no ejecuta desafíos de JavaScript, no conserva cookies como un navegador y a menudo pide muchas páginas seguidas, así que puede parecerse exactamente al tráfico que la protección contra bots está hecha para frenar. Las causas habituales son:

¿Cómo distingo un bloqueo del cortafuegos de uno del robots.txt?

Un bloqueo del robots.txt es una petición educada: el rastreador lee tus reglas y no descarga la página. Un bloqueo del cortafuegos es una respuesta: el rastreador pide la página y recibe otra cosa. El segundo tipo se puede ver directamente. Pide la página dos veces, una con un user agent de navegador y otra con el del rastreador, y compara.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Señales de un bloqueo del cortafuegos: estado 403, 429 o 503 solo para el rastreador; una página titulada Just a moment... o Attention Required! | Cloudflare; un cuerpo que contiene /cdn-cgi/challenge-platform; o una respuesta 200 mucho más corta que la del navegador. Ten en cuenta que tu prueba sale de tu propia IP, no del rango de IP verificado del rastreador, así que muestra cómo trata el cortafuegos al user agent, no todos los detalles de cómo trata al rastreador real.

¿Cómo permito a los rastreadores de búsqueda de IA en Cloudflare?

AI Crawl Control de Cloudflare, disponible en todos los planes, lista los rastreadores de IA que visitan tu dominio y te deja definir una acción para cada uno. En el panel, abre AI Crawl Control, ve a la lista Crawlers y elige Allow o Block en la columna Action de cada rastreador. Cloudflare indica que bloquear ahí crea o actualiza una regla personalizada del WAF en tu zona.

Si lo que bloquea al rastreador es una regla personalizada del WAF, el Super Bot Fight Mode o el límite de peticiones, añade una regla personalizada que omita esas funciones para los bots verificados y para el token del rastreador:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Pon la regla en primer lugar. Ten en cuenta que comparar por user agent también deja pasar a cualquiera que falsifique ese user agent. Cuando puedas, prefiere el campo de bots verificados (cf.client.bot) o los rangos de IP que publica el proveedor.

¿Qué pasa con el Bot Fight Mode?

La documentación de Cloudflare es explícita: el Bot Fight Mode no se puede eludir ni omitir con reglas personalizadas del WAF ni con Page Rules. Si es la función que desafía a los rastreadores, una regla de omisión no ayudará. Las opciones son desactivar el Bot Fight Mode o usar el Super Bot Fight Mode en un plan que lo incluya, que funciona sobre el Ruleset Engine y admite reglas de omisión.

¿A qué rastreadores debo dejar pasar?

Separa los rastreadores por lo que hacen. Los de búsqueda y los de descarga a petición del usuario deciden si las respuestas de IA pueden encontrarte y citarte. Los de entrenamiento recopilan datos para modelos, y bloquearlos es una decisión legítima que no te saca de la búsqueda con IA.

Los ajustes de política de Cloudflare usan la misma división en Search, Agent y Training, así que puedes permitir los dos primeros y decidir por separado sobre el tercero. Si usas otro cortafuegos o CDN, el principio es el mismo: pon el token del rastreador en la lista de permitidos, verificado con los rangos de IP que publica el proveedor o con DNS inverso cuando exista, para que reciba la misma respuesta que un navegador.

¿Cómo detecta AISeeWhy los bloqueos del cortafuegos?

AISeeWhy pide tu página como 14 rastreadores y un navegador normal, compara estado, tamaño y redirecciones, reconoce las páginas de verificación y nombra el cortafuegos o la CDN que respondió. Cuando el robots.txt permite a un rastreador pero el servidor lo bloquea, el informe muestra el conflicto y da la regla de Cloudflare o el paso de lista de permitidos para solucionarlo.

Preguntas frecuentes

¿Cloudflare bloquea a los rastreadores de IA por defecto?

Depende de tu cuenta, tu plan y los ajustes de tu zona, y Cloudflare ha ido cambiando estas opciones con el tiempo. Revisa AI Crawl Control y tus ajustes de bots, y prueba con el user agent del rastreador en lugar de suponerlo.

¿Por qué mi sitio funciona en un navegador pero no para los rastreadores?

Los cortafuegos juzgan cada petición. Un navegador supera los desafíos de JavaScript y conserva cookies; un rastreador no, así que puede recibir una página de verificación o un 403 que tú nunca ves.

¿Es seguro permitir a los rastreadores de IA en el WAF?

Permitir a un rastreador concreto tiene poco riesgo si lo verificas con los rangos de IP del proveedor o con la señal de bot verificado de Cloudflare. Las reglas que confían solo en el user agent también dejan entrar a cualquiera que lo copie.

¿La ofuscación de correos de Cloudflare afecta a los rastreadores de IA?

Sustituye las direcciones de correo por un enlace que solo decodifica un script, así que los rastreadores ven un marcador en lugar de la dirección. Si quieres que tu correo de contacto sea legible, desactiva Email Address Obfuscation en Scrape Shield y muestra la dirección como texto normal.

Fuentes

Más artículos