¿Cómo pruebo las reglas de robots.txt para una URL y un rastreador concreto?
Para probar una URL con un rastreador, busca el grupo que nombra el token del rastreador (o User-agent: * si ninguno lo hace), reúne todas las reglas Allow y Disallow de ese grupo que coinciden con la ruta de la URL y aplica la más larga; en caso de empate, gana Allow. Puedes hacerlo a mano, con el analizador de código abierto de Google o con un comprobador que dé un veredicto por rastreador. El antiguo probador de robots.txt de Search Console ya no existe, y el informe de robots.txt que lo sustituyó muestra lo que Google obtuvo, no un veredicto para una URL.
Un archivo robots.txt parece sencillo hasta que necesitas una respuesta definitiva: ¿puede GPTBot obtener esta página? ¿Y OAI-SearchBot? La respuesta depende de qué grupo elige el rastreador y de qué regla gana dentro de ese grupo, y es fácil equivocarse en ambos pasos. Aquí tienes cómo funcionan las coincidencias según RFC 9309, cuatro ejemplos resueltos y tres formas de probar un archivo por tu cuenta.
En esta página
- ¿Qué pasó con el probador de robots.txt de Google Search Console?
- ¿Cómo decide un rastreador si una URL está permitida?
- ¿Puedes mostrar un ejemplo de prueba de robots.txt?
- ¿Cómo ejecuto el analizador de robots.txt de código abierto de Google?
- ¿Puedo probar robots.txt con urllib.robotparser de Python?
- ¿Por qué una prueba de robots.txt sale bien y el rastreador sigue bloqueado?
- ¿Cómo compruebo robots.txt para todos los rastreadores de IA a la vez?
¿Qué pasó con el probador de robots.txt de Google Search Console?
En noviembre de 2023 Google añadió a Search Console un informe de robots.txt y anunció la retirada del probador de robots.txt. El informe está en Ajustes y solo cubre los rastreadores de Google. Muestra:
- Los archivos robots.txt que Google encontró para los 20 hosts principales de tu propiedad.
- El estado de obtención de cada archivo (
Fetched,Not Fetched - Not found (404)oNot Fetched - Any other reason), cuándo lo comprobó Google por última vez y su tamaño en bytes. - Los problemas del archivo. Google dice que los errores impiden usar una regla y que las advertencias no.
- Las versiones que Google obtuvo en los últimos 30 días y un botón para solicitar un nuevo rastreo después de corregir el archivo.
El informe no acepta una URL ni responde permitido o bloqueado. Para comprobar una URL con Googlebot, Google remite a la herramienta de inspección de URLs y, para pruebas locales, a su biblioteca de robots.txt de código abierto. Ninguna de las dos te dice nada sobre rastreadores de IA como GPTBot o ClaudeBot.
¿Cómo decide un rastreador si una URL está permitida?
RFC 9309, el Robots Exclusion Protocol, define las coincidencias. Google documenta el mismo comportamiento para sus rastreadores.
- Elegir el grupo. La coincidencia de User-agent no distingue mayúsculas de minúsculas. Si uno o varios grupos nombran el token del rastreador, sus reglas se combinan y el grupo
User-agent: *se ignora por completo. Solo un rastreador sin grupo propio sigue a*. - Elegir la regla. Entre las reglas
AllowyDisallowcuya ruta coincide con la URL, gana la que tiene más caracteres. Si unaAllowy unaDisallowtienen la misma longitud, debería ganarAllow. - Leer los patrones.
*coincide con cualquier secuencia de caracteres y$marca el final de la URL. Las rutas distinguen mayúsculas de minúsculas, así que/Admin/no coincide con/admin/. - Sin regla coincidente, está permitido. El propio
/robots.txtsiempre está permitido.
El código de respuesta de robots.txt importa tanto como sus reglas. Una respuesta 4xx significa que el rastreador puede obtenerlo todo; Google trata cualquier 4xx salvo el 429 como si el archivo no existiera. Una respuesta 5xx significa que el rastreador debe suponer que todo el sitio está bloqueado. Google deja de rastrear durante las primeras 12 horas y después usa la última copia válida durante un máximo de 30 días. RFC 9309 exige a los rastreadores analizar al menos 500 KiB, y Google ignora todo lo que venga después de 500 KiB.
¿Puedes mostrar un ejemplo de prueba de robots.txt?
Este es un robots.txt pequeño con un grupo por defecto y dos rastreadores de IA con grupo propio:
Googleboty/search/help/billing: permitido. No hay grupo para Googlebot, así que se aplica el grupo*. Coinciden tantoDisallow: /searchcomoAllow: /search/help, y la reglaAllowes más larga.GPTBoty/blog/post: bloqueado. GPTBot tiene su propio grupo yDisallow: /coincide con todas las rutas.OAI-SearchBoty/admin/settings: permitido. OAI-SearchBot tiene su propio grupo, así queDisallow: /admin/del grupo*no se le aplica. Es la sorpresa más habitual; repite las reglas comunes en cada grupo con nombre.OAI-SearchBoty/files/report.pdf: bloqueado.Allow: /coincide con un carácter,Disallow: /*.pdf$coincide con siete y gana la regla más larga.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Los empates son menos frecuentes, pero siguen la misma lógica. La documentación de Google pone el caso de allow: /folder y disallow: /folder para la URL /folder/page: ambas tienen la misma longitud, así que la URL está permitida.
¿Cómo ejecuto el analizador de robots.txt de código abierto de Google?
Google publica la biblioteca de C++ que usa en producción para aplicar las reglas de robots.txt, con un pequeño programa de línea de comandos para probar una URL y un user agent contra un archivo local. Con Bazel instalado:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed El repositorio también documenta una compilación con CMake, que genera un binario llamado robots con los mismos argumentos. La herramienta solo analiza y compara; no descarga robots.txt, así que guarda antes el archivo publicado. Su README señala además que el comportamiento propio de cada rastreador fuera del análisis y la comparación no forma parte de la biblioteca.
¿Puedo probar robots.txt con urllib.robotparser de Python?
La biblioteca estándar de Python incluye un analizador que responde permitido o bloqueado para un user agent y una URL. Este script prueba el ejemplo anterior:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Comprueba tu versión de Python antes de fiarte del resultado. La compatibilidad con las coincidencias de RFC 9309 se añadió a CPython en 2026 y llegó por primera vez en Python 3.13.14 y 3.14.5. Las versiones anteriores, incluidas toda la 3.12 y las previas, aplican la primera regla que coincide en el orden del archivo, no la más larga, y no entienden * ni $ dentro de las rutas. En esas versiones, el script da al revés la primera y la cuarta prueba: Googlebot bloqueado en /search/help/billing y OAI-SearchBot autorizado a obtener el PDF.
Hay dos diferencias más en todas las versiones. RobotFileParser.read() trata una respuesta 401 o 403 de robots.txt como un bloqueo total, mientras que RFC 9309 dice que un 4xx significa que se puede obtener todo. Y read() descarga el archivo con el user agent por defecto de Python, que algunos cortafuegos bloquean, así que una prueba puede indicar bloqueado por motivos ajenos a tus reglas. Descargar tú el archivo y pasarlo a parse(), como arriba, evita ambos problemas.
¿Por qué una prueba de robots.txt sale bien y el rastreador sigue bloqueado?
Un probador responde a una pregunta: ¿las reglas permiten esta URL? Hay varias cosas que quedan fuera de esa respuesta:
- El archivo publicado difiere del que probaste, o el rastreador sigue usando una copia en caché. RFC 9309 dice que los rastreadores no deberían usar una copia en caché durante más de 24 horas, y Google la guarda en caché hasta 24 horas en general.
- La URL de robots.txt devuelve una página HTML o un error. Una página HTML con estado 200 no contiene reglas válidas, y una respuesta 5xx bloquea todo el sitio.
- robots.txt es una petición, no un control de acceso. Un cortafuegos, una CDN o una protección contra bots pueden seguir respondiendo al rastreador con un 403 o una página de verificación.
¿Cómo compruebo robots.txt para todos los rastreadores de IA a la vez?
El comprobador gratuito de robots.txt de AISeeWhy acepta la dirección de una página o un robots.txt pegado y muestra, para cada rastreador de IA y de búsqueda, si puede obtener esa página. El generador gratuito de robots.txt crea un archivo a partir de tus elecciones, y la comprobación gratuita obtiene la página como 16 rastreadores para mostrar si un cortafuegos bloquea lo que robots.txt permite.
Correcciones para este problema
- robots.txt permite GPTBot, pero el servidor lo bloquea
- robots.txt no permite el acceso de OAI-SearchBot
- robots.txt es una página HTML
- No se puede obtener robots.txt
Próximos pasos
- Probador y comprobador de robots.txt para rastreadores de IA
- Ver un ejemplo de informe completo
- Monitorización de rastreadores de IA
- Planes y precios
Rastreadores en este artículo
Preguntas frecuentes
¿Sigue habiendo un probador de robots.txt en Google Search Console?
No. Google lo sustituyó en noviembre de 2023 por el informe de robots.txt, que muestra los archivos que Google obtuvo, su estado y los errores. Para comprobar si Googlebot puede rastrear una URL concreta, usa la herramienta de inspección de URLs.
¿Allow prevalece sobre Disallow en robots.txt?
Solo cuando la regla Allow es más larga o exactamente igual de larga. Gana la regla con la ruta coincidente más larga, sea del tipo que sea, y Allow gana en caso de empate.
¿robots.txt distingue entre mayúsculas y minúsculas?
En parte. El valor de User-agent se compara sin distinguir mayúsculas, así que gptbot y GPTBot nombran el mismo grupo. Las rutas sí distinguen mayúsculas, así que Disallow: /Private/ no bloquea /private/.
¿Qué comprueba un validador de robots.txt?
Un validador comprueba que el archivo es accesible, se sirve como texto y tiene una sintaxis válida. Un probador va más allá y da un veredicto para una URL y un rastreador concretos. Normalmente necesitas ambos, porque un archivo válido puede seguir bloqueando una página que querías permitir.
Si un rastreador tiene su propio grupo, ¿sigue respetando User-agent: *?
No. Un grupo con nombre sustituye por completo al grupo * para ese rastreador. Cualquier regla que quieras aplicar a todos tiene que repetirse en cada grupo con nombre.
Fuentes
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py