Leímos el robots.txt de los 10.000 sitios más populares. Esto hacen con los rastreadores de IA
De los 6.192 dominios del top 10.000 de Tranco que sirven un robots.txt, el 23,2 % bloquea al menos a un rastreador de entrenamiento de IA y el 12,3 % bloquea al menos a un rastreador de búsqueda o de usuario de IA. El 51,6 % de los sitios que bloquean el entrenamiento también bloquea la búsqueda con IA. Solo el 11,2 % rechaza el entrenamiento y permite a todos los rastreadores de búsqueda de IA.
En noviembre leímos el robots.txt de los 1.000 dominios más populares. Esta vez leímos 10.000, con el mismo método, y añadimos una comprobación de cómo cambia el panorama a medida que los sitios son más pequeños. La conclusión principal se mantiene: bloquear el entrenamiento y bloquear la búsqueda se tratan como una sola decisión, aunque son dos.
En esta página
¿Cómo lo medimos?
Tomamos los 10.000 dominios principales de la lista Tranco (ID de lista JZWZY) y solicitamos una vez la página de inicio, el robots.txt y el llms.txt de cada dominio el 21 de noviembre de 2026, con el user agent propio de AISeeWhy. Evaluamos cada robots.txt según la RFC 9309 para la página de inicio (/) y para 16 rastreadores de IA y de búsqueda.
6.192 de los 10.000 dominios sirvieron un robots.txt (una respuesta correcta que no es una página HTML). 1.121 respondieron con un 4xx, lo que significa que no hay reglas y todos los rastreadores están permitidos, y 2.687 no sirvieron ninguno (sin sitio HTTPS, errores, tiempos de espera agotados o una página HTML en su lugar). Todos los porcentajes siguientes son sobre los 6.192. La lista incluye CDN y API que no sirven ningún sitio web.
¿Qué encontramos?
- El 23,2 % (1.437 dominios) bloquea al menos a un rastreador de entrenamiento de IA.
- El 12,3 % (762) bloquea al menos a un rastreador de búsqueda o de usuario de IA, de modo que sus páginas no deberían usarse ni citarse en las respuestas que dependen de él.
- El 51,6 % de los dominios que bloquean a un rastreador de entrenamiento (742 de 1.437) también bloquea al menos a un rastreador de búsqueda o de usuario de IA.
- Solo el 11,2 % (695) sigue la vía selectiva: bloquea a los rastreadores de entrenamiento y permite a todos los de búsqueda y de usuario de IA.
- El 6,5 % (401) indica sus preferencias sobre IA con
Content-Signal. - El 12,4 % de los 10.000 dominios (1.240) publica un
llms.txt. - Como comparación, el 2,0 % (124) bloquea a
Googleboten la página de inicio.
¿Qué rastreadores se bloquean con más frecuencia?
Porcentaje de los 6.192 dominios cuyo robots.txt prohíbe la página de inicio al rastreador:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % es el rastreador de búsqueda con IA bloqueado con más frecuencia, por delante deOAI-SearchBot7,0 % yClaude-SearchBot7,0 %.- Los rastreadores que abren una página cuando una persona lo pide:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
¿Los sitios más grandes bloquean más?
Sí, y confunden con más frecuencia el entrenamiento con la búsqueda. Dividimos la lista por posición:
- Posiciones 1 a 1.000 (560 dominios con robots.txt): el 28,6 % bloquea el entrenamiento, el 18,6 % bloquea la búsqueda con IA y el 63,1 % de los que bloquean el entrenamiento también bloquea la búsqueda con IA.
- Posiciones 1.001 a 3.000 (1.256 dominios): 23,5 %, 13,5 % y 55,6 %.
- Posiciones 3.001 a 10.000 (4.376 dominios): 22,4 %, 11,2 % y 48,6 %.
La vía selectiva es poco frecuente en todos los tamaños: 10,5 %, 10,4 % y 11,5 % de los dominios de los tres grupos.
¿Ha cambiado algo desde nuestro informe del 12 de noviembre?
Volvimos a analizar los primeros 1.000 dominios con la misma lista. El resultado es estable con una diferencia de aproximadamente un punto: el 28,6 % bloquea el entrenamiento (29,9 % el 12 de noviembre), el 18,6 % bloquea la búsqueda con IA (19,5 %) y el 63,1 % de los que bloquean el entrenamiento también bloquea la búsqueda con IA (63,2 %). Los denominadores difieren ligeramente (ahora 560 dominios con robots.txt, entonces 518) porque esta vez seguimos la redirección de un dominio a su host principal antes de solicitarlo.
¿Qué significa esto para su robots.txt?
La mayoría de las empresas de IA documentan rastreadores distintos para el entrenamiento y para la búsqueda y afirman que los ajustes son independientes. Prohibir GPTBot no afecta a OAI-SearchBot, y prohibir ClaudeBot no afecta a Claude-SearchBot. Si quiere excluirse del entrenamiento y aun así ser citado, bloquee los tokens de entrenamiento y permita los de búsqueda y de usuario, y repita las rutas privadas en cada grupo, porque un grupo con nombre no hereda de *.
¿Qué fiabilidad tienen estas cifras?
Son reglas de robots.txt para la página de inicio, leídas con un solo analizador en un solo día. No miden los bloqueos de firewall, que pueden rechazar a un rastreador que robots.txt permite. No pueden decir qué pretendía cada sitio, y la lista de Tranco incluye dominios que no sirven ningún sitio web. Una regla que bloquea a un rastreador de búsqueda no prueba un error, solo una decisión que a menudo se toma sin conocer la diferencia. Puede citar las cifras con un enlace a esta página.
Próximos pasos
- Probador y comprobador de robots.txt para rastreadores de IA
- Comprobador y validador de llms.txt
- Ver un ejemplo de informe completo
- Monitorización de rastreadores de IA
- Planes y precios
Rastreadores en este artículo
Preguntas frecuentes
¿Qué porcentaje de sitios populares bloquea a los rastreadores de IA?
Entre los 6.192 dominios del top 10.000 de Tranco que sirven un robots.txt, el 23,2 % bloquea al menos a un rastreador de entrenamiento de IA y el 12,3 % bloquea al menos a un rastreador de búsqueda o de usuario de IA.
¿Los sitios que bloquean el entrenamiento de IA también bloquean la búsqueda con IA?
Con frecuencia. El 51,6 % de los sitios que bloquean a un rastreador de entrenamiento también bloquea al menos a un rastreador de búsqueda o de usuario de IA, aunque los proveedores los documentan como rastreadores separados con ajustes independientes.
¿Qué rastreador de IA se bloquea con más frecuencia?
Entre los de entrenamiento, Bytespider (18,7 %) y CCBot (18,5 %), seguidos de GPTBot (17,4 %). Entre los de búsqueda con IA, PerplexityBot es el más bloqueado, en el 10,4 % de los dominios.
¿Por qué difieren las cifras de las de su informe de 1.000 sitios?
Los primeros 1.000 dominios dan porcentajes casi idénticos (28,6 % y 18,6 % frente a 29,9 % y 19,5 %). Las cifras de los 10.000 sitios son más bajas porque los sitios más pequeños bloquean menos.
Fuentes
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers