Comprobador de robots.txt para rastreadores de IA

Introduzca la dirección de una página: leemos el robots.txt del sitio y mostramos, para cada rastreador de IA y de búsqueda, si puede obtener esa página. O pegue un robots.txt para probarlo antes de publicarlo.

robots.txt es solo una petición. Un firewall o una protección contra bots puede bloquear igualmente a un rastreador que robots.txt permite; la verificación completa lo comprueba. Ejecutar la verificación completa →

Cómo leen robots.txt los rastreadores de IA

Cada rastreador sigue el grupo que nombra su token (por ejemplo GPTBot o PerplexityBot); solo si ninguno lo hace, sigue User-agent: *. Dentro de un grupo gana la regla coincidente más larga, y en caso de empate gana Allow. Bloquear rastreadores de entrenamiento como GPTBot, ClaudeBot o Google-Extended mantiene su contenido fuera del entrenamiento de modelos; bloquear rastreadores de búsqueda y de usuario como OAI-SearchBot, ChatGPT-User o PerplexityBot mantiene sus páginas fuera de las respuestas de IA.