AISeeWhy
PT
Começar teste grátis

Crawlers da Anthropic: ClaudeBot, Claude-SearchBot e Claude-User

Publicado em

Resposta curta

A Anthropic opera três agentes: o ClaudeBot coleta conteúdo que pode ser usado para treinar seus modelos, o Claude-SearchBot rastreia para melhorar os resultados de busca do Claude e o Claude-User busca páginas quando a pergunta de um usuário do Claude precisa delas. Cada um tem seu token de robots.txt, e a Anthropic diz que os três respeitam o robots.txt. Bloquear só o ClaudeBot não impede a busca nem os acessos do usuário.

A Anthropic documenta seus crawlers em uma única página de ajuda, e a estrutura espelha a de outros fornecedores de IA: um agente para treinamento, um para busca e um para acessos em tempo real em nome do usuário. Se você quer que o Claude consiga encontrar e citar suas páginas, os dois últimos são os que mais importam.

Neste artigo
  1. O que o ClaudeBot faz?
  2. O que o Claude-SearchBot faz?
  3. O que o Claude-User faz?
  4. Como escrevo as regras de robots.txt para o Claude?
  5. Como a configuração da Anthropic se compara à da OpenAI e da Perplexity?
  6. Devo bloquear a Anthropic por endereço IP?
  7. Por que o Claude ainda poderia não ler minha página?

O que o ClaudeBot faz?

O ClaudeBot coleta conteúdo da web que pode contribuir para o treinamento dos modelos de IA generativa da Anthropic. Segundo a Anthropic, bloqueá-lo sinaliza que o conteúdo futuro do seu site deve ser excluído dos conjuntos de dados de treinamento.

A Anthropic também diz que respeita um sinal legível por máquina de não treinamento de IA, baseado em um rascunho da IETF, e que as regras que citam o ClaudeBot no robots.txt têm prioridade sobre essa configuração geral. Como em outros crawlers de treinamento, bloqueá-lo é uma escolha de política.

O que o Claude-SearchBot faz?

O Claude-SearchBot rastreia a web para melhorar a relevância e a precisão dos resultados de busca no Claude. A Anthropic diz que bloqueá-lo impede que seu conteúdo seja indexado para a busca, o que pode reduzir sua visibilidade e a precisão nos resultados de busca dos usuários.

Este é o agente a liberar se você quer que os recursos de busca do Claude conheçam suas páginas antes de alguém perguntar sobre elas. Por ser um crawler de busca, ele se beneficia das mesmas coisas que qualquer crawler de busca: um sitemap listado no robots.txt, links internos limpos e páginas que devolvem o conteúdo já na primeira resposta.

O que o Claude-User faz?

O Claude-User acessa um site quando um usuário do Claude faz uma pergunta que exige isso, por exemplo quando alguém compartilha uma URL ou pede ao Claude para pesquisar algo. A Anthropic diz que bloqueá-lo impede a recuperação em resposta a consultas de usuários, o que pode reduzir sua visibilidade na busca na web dirigida pelo usuário.

Note uma diferença em relação a alguns outros fornecedores. A Anthropic afirma que seus bots respeitam as diretivas do robots.txt e descreve o bloqueio do Claude-User por ele. A OpenAI e a Perplexity, por outro lado, dizem que seus agentes acionados pelo usuário podem não seguir o robots.txt.

Como escrevo as regras de robots.txt para o Claude?

Cada agente tem seu token, e um grupo que cita um crawler substitui o grupo * para esse crawler pela RFC 9309. Uma escolha comum é liberar a busca e os acessos do usuário e optar por sair do treinamento:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

A Anthropic também aceita Crawl-delay como extensão fora do padrão, por exemplo Crawl-delay: 1 em User-agent: ClaudeBot, se você quiser reduzir o ritmo do rastreamento em vez de bloqueá-lo. As regras devem ficar no robots.txt do diretório de nível superior de cada host, então adicione-as a cada subdomínio que quiser cobrir.

Como a configuração da Anthropic se compara à da OpenAI e da Perplexity?

Os três fornecedores seguem o mesmo padrão com nomes diferentes, o que facilita raciocinar sobre um robots.txt combinado. A principal diferença é como cada um trata o robots.txt nos acessos em tempo real a pedido do usuário.

Se você escreve um só robots.txt para os três, coloque os tokens de busca e de usuário em um grupo e os de treinamento em outro. Isso mantém a política legível e deixa claro qual escolha você fez para cada finalidade.

Devo bloquear a Anthropic por endereço IP?

A Anthropic desaconselha. A documentação dela diz que bloquear endereços IP pode não funcionar corretamente nem garantir de forma duradoura a exclusão, porque também impede o crawler de ler seu robots.txt. Use o robots.txt para declarar sua política.

A Anthropic publica os endereços IP de seus crawlers em claude.com/crawling/bots.json. O uso útil dessa lista é o oposto de bloquear: deixe seu firewall verificar que uma requisição que diz ser o Claude-SearchBot ou o Claude-User realmente vem da Anthropic, e deixe-a passar.

Por que o Claude ainda poderia não ler minha página?

Mesmo com um robots.txt permissivo, seu firewall ou CDN pode responder aos agentes da Anthropic com um 403 ou uma página de desafio. A Anthropic diz que seus bots respeitam tecnologias antievasão e não tentam contornar CAPTCHAs, então uma página de desafio simplesmente encerra a visita. Páginas cujo texto só aparece depois que o JavaScript roda também podem chegar quase vazias.

A AISeeWhy pede sua página como ClaudeBot, Claude-SearchBot e Claude-User, ao lado de um navegador, e verifica as regras do seu robots.txt para cada um, para você ver se a política que escreveu é a que seu servidor aplica.

Perguntas frequentes

Bloquear o ClaudeBot tira meu site das respostas do Claude?

Não por si só. A indexação para busca e os acessos pedidos pelo usuário usam o Claude-SearchBot e o Claude-User, que têm seus próprios tokens de robots.txt.

O Claude-User segue o robots.txt?

A Anthropic diz que seus bots respeitam o robots.txt e descreve o bloqueio do Claude-User por ele, com o efeito de que o Claude não consegue recuperar suas páginas para perguntas de usuários.

Os crawlers da Anthropic resolvem CAPTCHA?

Não. A Anthropic diz que seus bots respeitam tecnologias antievasão e não tentam contornar CAPTCHAs.

Posso reduzir o ritmo do ClaudeBot em vez de bloqueá-lo?

Sim. A Anthropic aceita Crawl-delay como extensão fora do padrão, por exemplo Crawl-delay: 1 no grupo ClaudeBot do seu robots.txt.

Como verifico que uma requisição realmente vem da Anthropic?

Compare o IP de origem com a lista que a Anthropic publica em claude.com/crawling/bots.json. Qualquer um pode copiar um user agent.

Fontes

Mais artigos