¿Por qué mi sitio bloquea de repente a los rastreadores de IA?
Un sitio que empieza a bloquear a los rastreadores de IA casi siempre ha cambiado en uno de cinco puntos: el robots.txt que se sirve de verdad, un ajuste de la CDN como las políticas de rastreadores de IA de Cloudflare, la protección contra bots o un límite de velocidad, un valor por defecto del hosting, o un robots.txt que ahora responde con un error. Descarga el robots.txt de hoy y una página como cada rastreador, compáralos con un navegador y con lo que tenías antes, y revisa esas capas en ese orden.
Nadie decide desaparecer de las respuestas de la IA. Ocurre como efecto secundario de una actualización del tema, un ajuste de seguridad, una migración o un cambio de valor por defecto en un proveedor. Un navegador sigue viendo el sitio con normalidad, así que el cambio puede pasar desapercibido hasta que alguien pregunta a ChatGPT o a Perplexity por el producto y le sale un competidor. Cada capa deja huellas que puedes comprobar desde fuera o en tus registros.
En esta página
- ¿Ha cambiado el robots.txt que reciben los rastreadores?
- ¿Han cambiado las políticas de rastreadores de IA de Cloudflare de 2026 lo que permite mi sitio?
- ¿La protección contra bots o un límite de velocidad están frenando a los rastreadores?
- ¿Ha cambiado mi proveedor de hosting sus valores por defecto?
- ¿Responde el robots.txt con un error?
- ¿Cómo averiguo cuándo empezó?
- ¿Cómo lo detecto antes la próxima vez?
¿Ha cambiado el robots.txt que reciben los rastreadores?
Descarga https://yourdomain.com/robots.txt y compáralo con el archivo de tu repositorio o tu copia de seguridad. Mira el archivo servido, no el del disco, porque varias capas pueden cambiarlo por el camino:
- Un despliegue publica el robots.txt de staging con
Disallow: /, o una migración deja en su sitio el valor por defecto de la plataforma. - Un ajuste del creador de sitios añade reglas para rastreadores de IA. Squarespace, por ejemplo, tiene la opción Block known artificial intelligence crawlers, que escribe 26 nombres de bots en el robots.txt y dice que con el tiempo puede añadir más. Viene desactivada por defecto, así que alguien tiene que activarla, pero la lista puede crecer después.
- Una actualización de un plugin de SEO o de seguridad escribe reglas nuevas, o añade una opción nueva que alguien activa.
- Cloudflare antepone su robots.txt gestionado a tu archivo cuando Bot Preference Sync está activado y una política de IA está en Block o Disallow. El archivo servido empieza entonces con
Disallow: /paraClaudeBot,GPTBoty otros seis tokens de entrenamiento, aunque tu propio archivo no haya cambiado. - Una regla pensada para un rastreador de entrenamiento se copió a otros, incluidos rastreadores de búsqueda como
OAI-SearchBot,Claude-SearchBotoPerplexityBot.
El informe de robots.txt de Google Search Console muestra las versiones que Google descargó en los últimos 30 días, con una entrada nueva cada vez que cambiaron el archivo o el resultado de la descarga. Solo cubre lo que vio Google, pero, salvo que tu servidor sirva un robots.txt distinto según el user agent, los rastreadores de IA recibieron el mismo archivo.
¿Han cambiado las políticas de rastreadores de IA de Cloudflare de 2026 lo que permite mi sitio?
Cloudflare ha cambiado varias veces sus controles de rastreadores de IA, y algunos cambios alteran lo que hace una zona sin que nadie la edite. El 1 de julio de 2025 empezó a preguntar a los dominios nuevos, al registrarse, si querían permitir los rastreadores de IA, con el bloqueo como estado inicial. El 1 de julio de 2026 sustituyó el interruptor único Block AI bots por políticas separadas de Search, Agent y Training, para todos los planes, incluido el Free.
El detalle que pilla a más sitios son los rastreadores de uso mixto. La documentación de Cloudflare dice que las acciones de Training también se aplican a los rastreadores que se usan tanto para búsqueda como para entrenamiento. Su anuncio de julio de 2026 decía que, a partir del 15 de septiembre de 2026, los rastreadores multipropósito como Googlebot, Applebot y BingBot se bloquearían para los clientes que hubieran elegido bloquear Training, ya fuera con las opciones nuevas o con el antiguo ajuste Block AI bots. Una exclusión del entrenamiento configurada hace un año puede, por tanto, alcanzar ahora a rastreadores de búsqueda.
Los valores por defecto para dominios nuevos se han descrito de forma distinta con el tiempo. El mismo anuncio decía que, a partir del 15 de septiembre de 2026, los dominios nuevos tendrían Training y Agent bloqueados en las páginas que muestran anuncios, mientras que la documentación de la política actualizada el 2 de noviembre de 2026 dice que los dominios nuevos empiezan con las tres en Allow. Abre Security, luego Settings, filtra por Bot traffic y lee las AI Crawler and Agent access policies de tu propia zona. Nuestra guía de Cloudflare AI Crawl Control explica cada ajuste.
¿La protección contra bots o un límite de velocidad están frenando a los rastreadores?
La protección contra bots juzga cada petición, y los rastreadores descargan muchas páginas rápido desde centros de datos, que es justo lo que hacen los bots. Un rastreador que pasaba el mes pasado puede empezar a recibir páginas de verificación después de que su operador cambie de rangos de IP o de ritmo de rastreo, o después de que se actualicen las reglas de protección. El Bot Fight Mode de Cloudflare es una causa frecuente, y Cloudflare dice que no se puede saltar ni omitir con reglas personalizadas del WAF ni con Page Rules, así que una regla de permiso añadida después no servirá mientras esté activado. Un límite de velocidad nuevo que responde a las ráfagas con 429 tiene el mismo efecto en un rastreador con mucha actividad.
Prueba desde fuera: solicita una página como navegador y como dos rastreadores de búsqueda de IA, y después solicita el robots.txt como rastreador.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt Un 403, 429 o 503 solo para un rastreador, una página titulada Just a moment... o un cuerpo mucho más pequeño que el del navegador significan que el rastreador recibe un trato distinto. La prueba sale de tu IP, no de la del proveedor, así que las reglas basadas en el estado de bot verificado pueden seguir tratando al rastreador real de otra manera. El registro de eventos del cortafuegos muestra qué regla respondió.
¿Ha cambiado mi proveedor de hosting sus valores por defecto?
Algunos hostings filtran el tráfico de IA en el servidor, antes de que se ejecuten tus propias reglas. SiteGround, por ejemplo, escribió en agosto de 2025 que bloquea por defecto los rastreadores de IA diseñados para recopilar datos de entrenamiento y permite los que visitan una página cuando alguien le pregunta por ella a un asistente de IA. Reglas así no aparecen en tu robots.txt y pueden cambiar cuando el hosting actualiza sus listas de bots.
Si un bloqueo aparece a la vez en varios sitios del mismo hosting, o en respuestas que nunca llegan a los registros de tu aplicación, pregunta al hosting qué reglas de bots se aplican a tu cuenta y si puedes excluir a los rastreadores que quieres conservar.
¿Responde el robots.txt con un error?
Un robots.txt que falla puede bloquear más que cualquier línea Disallow. Según la RFC 9309, una respuesta 4xx significa que el rastreador puede descargarlo todo, pero un error del servidor (5xx) o la falta total de respuesta significa que debe dar por bloqueado todo el sitio. Google deja de rastrear durante las primeras 12 horas de esos errores y después usa su última copia válida hasta 30 días.
Así es como un pico de carga, una regla del cortafuegos que pone una verificación en /robots.txt o un límite de velocidad que lo incluye pueden dejar fuera a los rastreadores que se portan bien sin que cambie una sola regla. El último comando de la prueba de arriba debería devolver 200 y text/plain. Un 5xx, un tiempo de espera agotado o una página de verificación ahí es lo primero que hay que arreglar.
¿Cómo averiguo cuándo empezó?
Una fecha convierte un misterio en una comparación. En tus registros de acceso, filtra las peticiones de user agents de rastreadores de IA y busca el día en que sus códigos de estado pasaron de 200 a 403, 429 o 503, o el día en que dejaron de pedir páginas después de leer el robots.txt; nuestra guía para revisar los registros del servidor en busca de rastreadores de IA tiene los comandos. Las peticiones que bloqueó tu CDN nunca llegan al origen, así que revisa también la CDN. En Cloudflare, AI Crawl Control muestra la distribución de códigos de estado a lo largo del tiempo, con filtro por rastreador.
Después cruza esa fecha con despliegues, actualizaciones de plugins y temas, cambios de ajustes en la CDN y anuncios de los proveedores. Antes de actuar, confirma que las IP de origen pertenecen al proveedor, para estar mirando al rastreador real y no a un impostor que usa su nombre.
¿Cómo lo detecto antes la próxima vez?
Comprueba el acceso después de cada despliegue, cambio en la CDN y actualización de plugins, no solo cuando cae el tráfico. La comprobación gratuita de AISeeWhy descarga una página como 16 rastreadores de IA y de búsqueda junto a un navegador real, aplica tu robots.txt a cada rastreador y reconoce las páginas de verificación de los cortafuegos. El comprobador gratuito de robots.txt muestra, para cada rastreador, si una página puede descargarse según el archivo que está publicado hoy.
Próximos pasos
- Probador y comprobador de robots.txt para rastreadores de IA
- Comprobación de IP de rastreadores de IA
- Ver un ejemplo de informe completo
- Monitorización de rastreadores de IA
- Planes y precios
Rastreadores en este artículo
Preguntas frecuentes
¿Por qué ChatGPT ha dejado de mostrar mi sitio?
A menudo porque OAI-SearchBot, el rastreador detrás de la búsqueda de ChatGPT, quedó bloqueado por un cambio en el robots.txt, una política de la CDN o la protección contra bots. OpenAI dice que los sitios que lo bloquean no aparecen en las respuestas de búsqueda de ChatGPT. Revisa cada capa para ese rastreador y espera unas 24 horas después de corregir el robots.txt, que es lo que OpenAI dice que tardan sus sistemas en ajustarse.
¿Ha empezado Cloudflare a bloquear Googlebot en mi sitio?
Puede pasar. Cloudflare dijo que, a partir del 15 de septiembre de 2026, los clientes que bloquean Training también bloquean rastreadores multipropósito como Googlebot, Applebot y BingBot. Su documentación dice que la opción Training Disallow bloquea los rastreadores de entrenamiento en el edge pero deja fuera a los de uso mixto, así que comprueba qué opción usa tu zona.
¿Puede un creador de sitios o un plugin cambiarme el robots.txt?
Sí. Los creadores de sitios y los plugins de SEO o de seguridad pueden escribir reglas para rastreadores de IA en el robots.txt, y algunos amplían sus listas de bots con el tiempo. Después de cada actualización, descarga el archivo publicado y lee los grupos que se aplican a los rastreadores de búsqueda que te importan.
¿Por qué mi robots.txt publicado es distinto del archivo de mi servidor?
Algo delante de tu servidor lo está cambiando. El robots.txt gestionado de Cloudflare, por ejemplo, antepone sus propias reglas y content signals a tu archivo en la misma respuesta. Un CMS que genera el robots.txt en cada petición, o un ajuste a nivel de hosting, también pueden sustituirlo o ampliarlo.
¿Cuánto tardan en volver los rastreadores de IA cuando lo arreglo?
La RFC 9309 dice que los rastreadores no deberían usar un robots.txt en caché más de 24 horas; OpenAI habla de unas 24 horas y Perplexity de hasta 24 horas. Los cambios en el cortafuegos se aplican en cuanto tu proveedor los despliega, pero los rastreadores vuelven a su propio ritmo.
Fuentes
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers