Claude-User
O Claude-User visita um site quando um usuário do Claude faz uma pergunta que exige isso, como ler um link compartilhado. A Anthropic diz que seus bots respeitam o robots.txt e que bloquear o Claude-User impede a obtenção do seu conteúdo em resposta a consultas de usuários, o que pode reduzir sua visibilidade na busca na web dirigida pelo usuário.
O que ele faz
A Anthropic usa o Claude-User para dar suporte aos usuários do Claude: quando alguém faz uma pergunta ao Claude, ele pode acessar um site para responder. São acessos individuais em nome de um usuário, não um rastreamento geral.
Ao contrário da OpenAI e da Perplexity, que dizem que seus fetchers acionados por usuários podem não seguir o robots.txt, a Anthropic afirma que seus bots respeitam as diretivas do robots.txt e descreve o bloqueio do Claude-User ali. Isso impede o Claude de obter suas páginas quando usuários perguntam sobre elas.
No nosso estudo de 2026-11, 13.1% dos sites populares com robots.txt o bloqueavam. →
Token do robots.txt
Claude-User
Como permitir
User-agent: Claude-User
Allow: /Como bloquear
User-agent: Claude-User
Disallow: /Como verificar visitas reais
A Anthropic publica os endereços IP de seus crawlers em claude.com/crawling/bots.json e diz que um crawler cujo IP está nessa lista vem da Anthropic. Compare o IP de origem com a lista em vez de confiar no user agent. A Anthropic desaconselha usar bloqueio por IP para sair, porque isso também impede o crawler de ler o robots.txt.
Veja se seu site deixa ele entrar →
Crawlers da Anthropic: ClaudeBot, Claude-SearchBot e Claude-User →