Claude-SearchBot
O Claude-SearchBot rastreia a web para melhorar a relevância e a precisão dos resultados de busca no Claude. A Anthropic diz que bloqueá-lo impede que seu conteúdo seja indexado para busca, o que pode reduzir sua visibilidade e a precisão nos resultados de busca dos usuários. Permita-o se quiser que o Claude encontre e cite suas páginas.
O que ele faz
A Anthropic usa o Claude-SearchBot para navegar pela web e melhorar a qualidade dos resultados de busca para usuários do Claude. Ele é separado do ClaudeBot, o crawler de treinamento, então você pode permitir a busca e sair do treinamento.
A Anthropic diz que desativar o Claude-SearchBot impede a indexação do seu conteúdo para otimização de busca, o que pode reduzir a visibilidade e a precisão do seu site nos resultados de busca dos usuários. Os bots da Anthropic respeitam o robots.txt e medidas contra contornos, então um CAPTCHA ou página de desafio encerra a visita.
No nosso estudo de 2026-11, 12.9% dos sites populares com robots.txt o bloqueavam. →
Token do robots.txt
Claude-SearchBot
Como permitir
User-agent: Claude-SearchBot
Allow: /Como bloquear
User-agent: Claude-SearchBot
Disallow: /Como verificar visitas reais
A Anthropic publica os endereços IP de seus crawlers em claude.com/crawling/bots.json e diz que um crawler cujo IP está nessa lista vem da Anthropic. Compare o IP de origem com a lista em vez de confiar no user agent. A Anthropic desaconselha usar bloqueio por IP para sair, porque isso também impede o crawler de ler o robots.txt.
Veja se seu site deixa ele entrar →
Crawlers da Anthropic: ClaudeBot, Claude-SearchBot e Claude-User →