Verificador de robots.txt para crawlers de IA

Digite o endereço de uma página: lemos o robots.txt do site e mostramos, para cada crawler de IA e de busca, se ele pode buscar essa página. Ou cole um robots.txt para testá-lo antes de publicar.

robots.txt é apenas um pedido. Um firewall ou uma proteção contra bots ainda pode bloquear um crawler que o robots.txt permite; a verificação completa testa isso. Fazer a verificação completa →

Como os crawlers de IA leem o robots.txt

Cada crawler segue o grupo que cita seu token (por exemplo GPTBot ou PerplexityBot); só se nenhum fizer isso, ele segue User-agent: *. Dentro de um grupo vence a regra correspondente mais longa, e em caso de empate vence Allow. Bloquear crawlers de treinamento como GPTBot, ClaudeBot ou Google-Extended mantém seu conteúdo fora do treinamento de modelos; bloquear crawlers de busca e de usuário como OAI-SearchBot, ChatGPT-User ou PerplexityBot mantém suas páginas fora das respostas de IA.