ClaudeBot
O ClaudeBot é o crawler da Anthropic para conteúdo da web que pode ser usado no treinamento de seus modelos de IA generativa. Proibi-lo no robots.txt sinaliza que o conteúdo futuro do seu site deve ficar fora do treinamento. Bloqueá-lo sozinho não impede o Claude-SearchBot nem o Claude-User, que atendem busca e respostas em tempo real.
O que ele faz
A Anthropic diz que o ClaudeBot coleta conteúdo da web que pode contribuir para o treinamento de seus modelos, para ajudar a melhorar sua utilidade e segurança. Proibir o ClaudeBot sinaliza que o material futuro do seu site deve ser excluído dos conjuntos de dados de treinamento.
A Anthropic também aceita a diretiva Crawl-delay, que não é padrão, então você pode desacelerar o ClaudeBot em vez de bloqueá-lo. Regras que citam o ClaudeBot no robots.txt têm prioridade sobre o sinal geral da Anthropic de não treinar IA. As regras do robots.txt valem por host, então adicione-as a cada subdomínio que quiser cobrir.
No nosso estudo de 2026-11, 21.2% dos sites populares com robots.txt o bloqueavam. →
Token do robots.txt
ClaudeBot
Como permitir
User-agent: ClaudeBot
Allow: /Como bloquear
User-agent: ClaudeBot
Disallow: /Como verificar visitas reais
A Anthropic publica os endereços IP de seus crawlers em claude.com/crawling/bots.json e diz que um crawler cujo IP está nessa lista vem da Anthropic. Compare o IP de origem com a lista em vez de confiar no user agent. A Anthropic desaconselha usar bloqueio por IP para sair, porque isso também impede o crawler de ler o robots.txt.
Veja se seu site deixa ele entrar →
Crawlers da Anthropic: ClaudeBot, Claude-SearchBot e Claude-User →