Cuatro de cada diez sitios web de empresas rechazan a los rastreadores de IA

Publicado

Respuesta corta

En nuestras auditorías de 165 sitios web de empresas de EE. UU., Reino Unido y Francia, el 38 % rechazó en el servidor al menos a un rastreador de IA, casi siempre un bot de entrenamiento o de scraping. Aproximadamente uno de cada diez también rechazó a un rastreador de búsqueda con IA, como PerplexityBot u OAI-SearchBot, que son los que pueden llevar a una cita. Compruebe el suyo con una solicitud por rastreador.

Le pregunta a ChatGPT por su propio producto y le nombra a un competidor, un sitio de reseñas y un hilo de un foro. A veces es cuestión de contenido. Con frecuencia es un firewall que responde que no a los rastreadores de IA, algo que nadie de su equipo ha visto porque la web funciona bien en un navegador.

En esta página
  1. ¿Qué probamos?
  2. ¿Qué encontramos?
  3. ¿Por qué ocurre y cuándo es una decisión consciente?
  4. ¿Les va mejor a los sitios más grandes?
  5. ¿Cómo reviso mi propio sitio en diez minutos?
  6. ¿Qué fiabilidad tienen estas cifras?

¿Qué probamos?

Solicitamos una página varias veces desde la misma dirección: una como un navegador normal y otra como cada uno de 14 rastreadores de IA y de búsqueda, entre ellos GPTBot, OAI-SearchBot y ChatGPT-User de OpenAI, ClaudeBot y Claude-SearchBot de Anthropic y PerplexityBot de Perplexity. Si el navegador recibe la página y un rastreador recibe un 401, 403, 406, 429, 451, 503 o una página de verificación, el sitio está rechazando a ese rastreador.

La muestra son 218 sitios web de empresas de EE. UU., Reino Unido y Francia, auditados del 18 al 21 de noviembre de 2026. Pudimos hacer la prueba completa en 165. Los otros 53 rechazaron incluso nuestra solicitud simple como navegador o no respondieron, así que los excluimos en lugar de adivinar.

¿Qué encontramos?

¿Por qué ocurre y cuándo es una decisión consciente?

Buena parte de esto probablemente es deliberado. Muchos propietarios no quieren que su contenido se use para entrenar modelos, y es fácil activar ajustes de protección contra bots que bloquean el scraping. Es una decisión legítima.

El problema es que las empresas de IA usan rastreadores distintos para el entrenamiento y para la búsqueda. Bloquear el de entrenamiento no obliga a bloquear el de búsqueda, y este último es el que puede hacer que su página se cite en una respuesta.

¿Les va mejor a los sitios más grandes?

No realmente. En nuestro informe de robots.txt sobre los 1.000 dominios más populares, el 29,9 % de los sitios con robots.txt bloquea al menos a un rastreador de entrenamiento de IA, y el 63,2 % de ellos también bloquea al menos a un rastreador de búsqueda o de usuario de IA. Solo el 11,0 % bloquea el entrenamiento y permite a todos los rastreadores de búsqueda de IA, que es la configuración que probablemente querían la mayoría.

¿Cómo reviso mi propio sitio en diez minutos?

  1. Abra yoursite.com/robots.txt. Para cada rastreador de IA que le interese, compruebe si algún grupo lo nombra y qué dice. Un grupo que nombra a un rastreador sustituye por completo al grupo general *.
  2. Pruebe lo que hace el servidor, no lo que dice el archivo. Solicite su página clave como navegador y como el rastreador. Un 403, un 429, una página titulada Just a moment... o una respuesta mucho más pequeña que la del navegador es la señal de un bloqueo del firewall.
  3. Pregunte al asistente. Con la búsqueda activada, haga a ChatGPT o Perplexity las preguntas que hacen sus compradores y vea qué sitios cita. Si el acceso es correcto y aun así no aparece, el problema es el contenido, no el acceso.

¿Qué fiabilidad tienen estas cifras?

Tómelas como un patrón, no como un censo. La muestra no es aleatoria: son empresas encontradas en bibliotecas de anuncios, bolsas de empleo y fichas de mapas. Probamos por user agent desde una sola dirección, mientras que los rastreadores reales vienen de las direcciones que publican sus proveedores, así que algunos firewalls tratarían de otro modo a los reales. Y un bloqueo no siempre es un error.

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿Qué porcentaje de sitios web bloquea a los rastreadores de IA?

En nuestra auditoría de 165 sitios web de empresas evaluables, el 38 % rechazó en el servidor al menos a un rastreador de IA, sobre todo bots de entrenamiento y de scraping. Alrededor del 10 % también rechazó a un rastreador de búsqueda con IA.

¿Bloquear GPTBot deja mi sitio fuera de la búsqueda de ChatGPT?

No. OpenAI indica que cada ajuste de robots.txt para sus rastreadores es independiente: GPTBot se relaciona con el entrenamiento y OAI-SearchBot con la búsqueda de ChatGPT. Bloquear uno no bloquea el otro.

¿Cómo puede un sitio bloquear a un rastreador sin robots.txt?

Una regla de firewall, CDN o protección contra bots puede responder a un rastreador con un 403, un 429 o una página de verificación. robots.txt nunca lo muestra, así que hay que comprobarlo solicitando la página como el rastreador.

¿Rechazar a un rastreador es siempre un error?

No. Muchos propietarios quieren mantener fuera a los rastreadores de entrenamiento y a los scrapers. El error es bloquear por accidente a los rastreadores de búsqueda, porque son los que pueden citar su página.

Fuentes

Más artículos