Leímos el robots.txt de los 10.000 sitios más populares. Esto hacen con los rastreadores de IA

Publicado

Respuesta corta

De los 6.192 dominios del top 10.000 de Tranco que sirven un robots.txt, el 23,2 % bloquea al menos a un rastreador de entrenamiento de IA y el 12,3 % bloquea al menos a un rastreador de búsqueda o de usuario de IA. El 51,6 % de los sitios que bloquean el entrenamiento también bloquea la búsqueda con IA. Solo el 11,2 % rechaza el entrenamiento y permite a todos los rastreadores de búsqueda de IA.

En noviembre leímos el robots.txt de los 1.000 dominios más populares. Esta vez leímos 10.000, con el mismo método, y añadimos una comprobación de cómo cambia el panorama a medida que los sitios son más pequeños. La conclusión principal se mantiene: bloquear el entrenamiento y bloquear la búsqueda se tratan como una sola decisión, aunque son dos.

En esta página
  1. ¿Cómo lo medimos?
  2. ¿Qué encontramos?
  3. ¿Qué rastreadores se bloquean con más frecuencia?
  4. ¿Los sitios más grandes bloquean más?
  5. ¿Ha cambiado algo desde nuestro informe del 12 de noviembre?
  6. ¿Qué significa esto para su robots.txt?
  7. ¿Qué fiabilidad tienen estas cifras?

¿Cómo lo medimos?

Tomamos los 10.000 dominios principales de la lista Tranco (ID de lista JZWZY) y solicitamos una vez la página de inicio, el robots.txt y el llms.txt de cada dominio el 21 de noviembre de 2026, con el user agent propio de AISeeWhy. Evaluamos cada robots.txt según la RFC 9309 para la página de inicio (/) y para 16 rastreadores de IA y de búsqueda.

6.192 de los 10.000 dominios sirvieron un robots.txt (una respuesta correcta que no es una página HTML). 1.121 respondieron con un 4xx, lo que significa que no hay reglas y todos los rastreadores están permitidos, y 2.687 no sirvieron ninguno (sin sitio HTTPS, errores, tiempos de espera agotados o una página HTML en su lugar). Todos los porcentajes siguientes son sobre los 6.192. La lista incluye CDN y API que no sirven ningún sitio web.

¿Qué encontramos?

¿Qué rastreadores se bloquean con más frecuencia?

Porcentaje de los 6.192 dominios cuyo robots.txt prohíbe la página de inicio al rastreador:

¿Los sitios más grandes bloquean más?

Sí, y confunden con más frecuencia el entrenamiento con la búsqueda. Dividimos la lista por posición:

La vía selectiva es poco frecuente en todos los tamaños: 10,5 %, 10,4 % y 11,5 % de los dominios de los tres grupos.

¿Ha cambiado algo desde nuestro informe del 12 de noviembre?

Volvimos a analizar los primeros 1.000 dominios con la misma lista. El resultado es estable con una diferencia de aproximadamente un punto: el 28,6 % bloquea el entrenamiento (29,9 % el 12 de noviembre), el 18,6 % bloquea la búsqueda con IA (19,5 %) y el 63,1 % de los que bloquean el entrenamiento también bloquea la búsqueda con IA (63,2 %). Los denominadores difieren ligeramente (ahora 560 dominios con robots.txt, entonces 518) porque esta vez seguimos la redirección de un dominio a su host principal antes de solicitarlo.

¿Qué significa esto para su robots.txt?

La mayoría de las empresas de IA documentan rastreadores distintos para el entrenamiento y para la búsqueda y afirman que los ajustes son independientes. Prohibir GPTBot no afecta a OAI-SearchBot, y prohibir ClaudeBot no afecta a Claude-SearchBot. Si quiere excluirse del entrenamiento y aun así ser citado, bloquee los tokens de entrenamiento y permita los de búsqueda y de usuario, y repita las rutas privadas en cada grupo, porque un grupo con nombre no hereda de *.

¿Qué fiabilidad tienen estas cifras?

Son reglas de robots.txt para la página de inicio, leídas con un solo analizador en un solo día. No miden los bloqueos de firewall, que pueden rechazar a un rastreador que robots.txt permite. No pueden decir qué pretendía cada sitio, y la lista de Tranco incluye dominios que no sirven ningún sitio web. Una regla que bloquea a un rastreador de búsqueda no prueba un error, solo una decisión que a menudo se toma sin conocer la diferencia. Puede citar las cifras con un enlace a esta página.

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿Qué porcentaje de sitios populares bloquea a los rastreadores de IA?

Entre los 6.192 dominios del top 10.000 de Tranco que sirven un robots.txt, el 23,2 % bloquea al menos a un rastreador de entrenamiento de IA y el 12,3 % bloquea al menos a un rastreador de búsqueda o de usuario de IA.

¿Los sitios que bloquean el entrenamiento de IA también bloquean la búsqueda con IA?

Con frecuencia. El 51,6 % de los sitios que bloquean a un rastreador de entrenamiento también bloquea al menos a un rastreador de búsqueda o de usuario de IA, aunque los proveedores los documentan como rastreadores separados con ajustes independientes.

¿Qué rastreador de IA se bloquea con más frecuencia?

Entre los de entrenamiento, Bytespider (18,7 %) y CCBot (18,5 %), seguidos de GPTBot (17,4 %). Entre los de búsqueda con IA, PerplexityBot es el más bloqueado, en el 10,4 % de los dominios.

¿Por qué difieren las cifras de las de su informe de 1.000 sitios?

Los primeros 1.000 dominios dan porcentajes casi idénticos (28,6 % y 18,6 % frente a 29,9 % y 19,5 %). Las cifras de los 10.000 sitios son más bajas porque los sitios más pequeños bloquean menos.

Fuentes

Más artículos