¿Cómo pruebo las reglas de robots.txt para una URL y un rastreador concreto?

Publicado

Respuesta corta

Para probar una URL con un rastreador, busca el grupo que nombra el token del rastreador (o User-agent: * si ninguno lo hace), reúne todas las reglas Allow y Disallow de ese grupo que coinciden con la ruta de la URL y aplica la más larga; en caso de empate, gana Allow. Puedes hacerlo a mano, con el analizador de código abierto de Google o con un comprobador que dé un veredicto por rastreador. El antiguo probador de robots.txt de Search Console ya no existe, y el informe de robots.txt que lo sustituyó muestra lo que Google obtuvo, no un veredicto para una URL.

Un archivo robots.txt parece sencillo hasta que necesitas una respuesta definitiva: ¿puede GPTBot obtener esta página? ¿Y OAI-SearchBot? La respuesta depende de qué grupo elige el rastreador y de qué regla gana dentro de ese grupo, y es fácil equivocarse en ambos pasos. Aquí tienes cómo funcionan las coincidencias según RFC 9309, cuatro ejemplos resueltos y tres formas de probar un archivo por tu cuenta.

En esta página
  1. ¿Qué pasó con el probador de robots.txt de Google Search Console?
  2. ¿Cómo decide un rastreador si una URL está permitida?
  3. ¿Puedes mostrar un ejemplo de prueba de robots.txt?
  4. ¿Cómo ejecuto el analizador de robots.txt de código abierto de Google?
  5. ¿Puedo probar robots.txt con urllib.robotparser de Python?
  6. ¿Por qué una prueba de robots.txt sale bien y el rastreador sigue bloqueado?
  7. ¿Cómo compruebo robots.txt para todos los rastreadores de IA a la vez?

¿Qué pasó con el probador de robots.txt de Google Search Console?

En noviembre de 2023 Google añadió a Search Console un informe de robots.txt y anunció la retirada del probador de robots.txt. El informe está en Ajustes y solo cubre los rastreadores de Google. Muestra:

El informe no acepta una URL ni responde permitido o bloqueado. Para comprobar una URL con Googlebot, Google remite a la herramienta de inspección de URLs y, para pruebas locales, a su biblioteca de robots.txt de código abierto. Ninguna de las dos te dice nada sobre rastreadores de IA como GPTBot o ClaudeBot.

¿Cómo decide un rastreador si una URL está permitida?

RFC 9309, el Robots Exclusion Protocol, define las coincidencias. Google documenta el mismo comportamiento para sus rastreadores.

El código de respuesta de robots.txt importa tanto como sus reglas. Una respuesta 4xx significa que el rastreador puede obtenerlo todo; Google trata cualquier 4xx salvo el 429 como si el archivo no existiera. Una respuesta 5xx significa que el rastreador debe suponer que todo el sitio está bloqueado. Google deja de rastrear durante las primeras 12 horas y después usa la última copia válida durante un máximo de 30 días. RFC 9309 exige a los rastreadores analizar al menos 500 KiB, y Google ignora todo lo que venga después de 500 KiB.

¿Puedes mostrar un ejemplo de prueba de robots.txt?

Este es un robots.txt pequeño con un grupo por defecto y dos rastreadores de IA con grupo propio:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Los empates son menos frecuentes, pero siguen la misma lógica. La documentación de Google pone el caso de allow: /folder y disallow: /folder para la URL /folder/page: ambas tienen la misma longitud, así que la URL está permitida.

¿Cómo ejecuto el analizador de robots.txt de código abierto de Google?

Google publica la biblioteca de C++ que usa en producción para aplicar las reglas de robots.txt, con un pequeño programa de línea de comandos para probar una URL y un user agent contra un archivo local. Con Bazel instalado:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

El repositorio también documenta una compilación con CMake, que genera un binario llamado robots con los mismos argumentos. La herramienta solo analiza y compara; no descarga robots.txt, así que guarda antes el archivo publicado. Su README señala además que el comportamiento propio de cada rastreador fuera del análisis y la comparación no forma parte de la biblioteca.

¿Puedo probar robots.txt con urllib.robotparser de Python?

La biblioteca estándar de Python incluye un analizador que responde permitido o bloqueado para un user agent y una URL. Este script prueba el ejemplo anterior:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Comprueba tu versión de Python antes de fiarte del resultado. La compatibilidad con las coincidencias de RFC 9309 se añadió a CPython en 2026 y llegó por primera vez en Python 3.13.14 y 3.14.5. Las versiones anteriores, incluidas toda la 3.12 y las previas, aplican la primera regla que coincide en el orden del archivo, no la más larga, y no entienden * ni $ dentro de las rutas. En esas versiones, el script da al revés la primera y la cuarta prueba: Googlebot bloqueado en /search/help/billing y OAI-SearchBot autorizado a obtener el PDF.

Hay dos diferencias más en todas las versiones. RobotFileParser.read() trata una respuesta 401 o 403 de robots.txt como un bloqueo total, mientras que RFC 9309 dice que un 4xx significa que se puede obtener todo. Y read() descarga el archivo con el user agent por defecto de Python, que algunos cortafuegos bloquean, así que una prueba puede indicar bloqueado por motivos ajenos a tus reglas. Descargar tú el archivo y pasarlo a parse(), como arriba, evita ambos problemas.

¿Por qué una prueba de robots.txt sale bien y el rastreador sigue bloqueado?

Un probador responde a una pregunta: ¿las reglas permiten esta URL? Hay varias cosas que quedan fuera de esa respuesta:

¿Cómo compruebo robots.txt para todos los rastreadores de IA a la vez?

El comprobador gratuito de robots.txt de AISeeWhy acepta la dirección de una página o un robots.txt pegado y muestra, para cada rastreador de IA y de búsqueda, si puede obtener esa página. El generador gratuito de robots.txt crea un archivo a partir de tus elecciones, y la comprobación gratuita obtiene la página como 16 rastreadores para mostrar si un cortafuegos bloquea lo que robots.txt permite.

Correcciones para este problema

Herramientas gratuitas

Próximos pasos

Rastreadores en este artículo

Preguntas frecuentes

¿Sigue habiendo un probador de robots.txt en Google Search Console?

No. Google lo sustituyó en noviembre de 2023 por el informe de robots.txt, que muestra los archivos que Google obtuvo, su estado y los errores. Para comprobar si Googlebot puede rastrear una URL concreta, usa la herramienta de inspección de URLs.

¿Allow prevalece sobre Disallow en robots.txt?

Solo cuando la regla Allow es más larga o exactamente igual de larga. Gana la regla con la ruta coincidente más larga, sea del tipo que sea, y Allow gana en caso de empate.

¿robots.txt distingue entre mayúsculas y minúsculas?

En parte. El valor de User-agent se compara sin distinguir mayúsculas, así que gptbot y GPTBot nombran el mismo grupo. Las rutas sí distinguen mayúsculas, así que Disallow: /Private/ no bloquea /private/.

¿Qué comprueba un validador de robots.txt?

Un validador comprueba que el archivo es accesible, se sirve como texto y tiene una sintaxis válida. Un probador va más allá y da un veredicto para una URL y un rastreador concretos. Normalmente necesitas ambos, porque un archivo válido puede seguir bloqueando una página que querías permitir.

Si un rastreador tiene su propio grupo, ¿sigue respetando User-agent: *?

No. Un grupo con nombre sustituye por completo al grupo * para ese rastreador. Cualquier regla que quieras aplicar a todos tiene que repetirse en cada grupo con nombre.

Fuentes

Más artículos