O Claude consegue ver meu site? Como verificar

Publicado em · Atualizado em

Resposta curta

O Claude só consegue ler sua página se o seu robots.txt permitir os agentes da Anthropic e o seu servidor enviar a eles o mesmo HTML que um navegador recebe. Verifique se o robots.txt não bloqueia Claude-SearchBot nem Claude-User, se o firewall não responde a eles com um 403 ou uma página de desafio e se o texto principal está no HTML inicial. Depois teste no próprio Claude: cole sua URL em um chat e faça as perguntas dos seus compradores com a busca na web ativada.

Se você pergunta ao Claude sobre o seu produto e ele cita outros sites, a primeira dúvida é se ele consegue acessar o seu. Essa dúvida tem uma resposta testável. A Anthropic publica os tokens de robots.txt dos seus agentes e os endereços IP de onde eles vêm, e o Claude mostra as fontes que usou. Assim, dá para verificar cada etapa em ordem: o que diz o seu robots.txt, o que o seu servidor envia, o que os seus logs registram e o que o Claude faz com uma página quando você a entrega a ele.

Neste artigo
  1. A verificação de 5 minutos, passo a passo
  2. Como o Claude lê sites?
  3. Como verificar no robots.txt se o Claude pode acessar meu site?
  4. Como testar o que os agentes do Claude recebem do meu servidor?
  5. Como saber se o Claude realmente visita meu site?
  6. Como testar minha página no próprio Claude?
  7. E se o Claude consegue ler minha página, mas não a cita?
  8. Como a AISeeWhy verifica isso?

A verificação de 5 minutos, passo a passo

  1. Abra o seu robots.txt e confirme que nenhum grupo para Claude-SearchBot, Claude-User ou User-agent: * bloqueia a página. O ClaudeBot só importa para o treinamento.
  2. Faça uma verificação gratuita da página no AISeeWhy ou envie uma requisição com o user agent Claude-User: ela precisa receber o status 200 e o mesmo texto que um navegador recebe.
  3. Procure Claude-SearchBot e Claude-User no seu log de acesso e veja os códigos de status que eles receberam.
  4. Cole sua URL no Claude com a busca na web ativada, peça um resumo da página, depois faça uma pergunta que seus compradores fazem e confira as citações.

Se o passo 1 ou 2 falhar, corrija primeiro o acesso; as seções abaixo mostram como. Se o Claude lê a página, mas não a cita, trabalhe no conteúdo.

Como o Claude lê sites?

O Claude acessa a web de duas formas. Com a busca na web, ele pesquisa quando uma pergunta precisa de informação atual, analisa várias fontes e responde com citações. A central de ajuda da Anthropic diz que toda resposta que usa a busca na web inclui citações. Quando alguém passa ao Claude um link específico, ele pode abrir essa página diretamente.

A Anthropic documenta três agentes para isso, cada um com o seu token no robots.txt. O Claude-SearchBot rastreia para melhorar os resultados de busca do Claude, o Claude-User busca páginas quando a pergunta de um usuário precisa delas e o ClaudeBot coleta conteúdo que pode ser usado em treinamento. Nosso guia sobre os três crawlers da Anthropic explica em detalhes o que cada um faz. Para ser lido e citado, os dois primeiros são os que importam.

Um limite honesto: a Anthropic não informa qual índice de busca a busca na web do Claude usa nem como ela escolhe as fontes. Ela diz que bloquear o Claude-SearchBot pode reduzir sua visibilidade nos resultados de busca e que bloquear o Claude-User impede a recuperação para perguntas de usuários. Permitir os dois torna uma citação possível; não a garante.

Como verificar no robots.txt se o Claude pode acessar meu site?

Abra https://yourdomain.com/robots.txt e procure grupos que citem Claude-SearchBot ou Claude-User. Se nenhum dos dois aparecer, ambos seguem o grupo User-agent: *. Pela RFC 9309, a comparação de tokens não diferencia maiúsculas de minúsculas, e um Disallow: / no grupo que se aplicar fecha o site inteiro para aquele agente.

Verifique também a própria resposta. Um robots.txt que devolve erro de servidor faz os crawlers presumirem que tudo está bloqueado. Um 404 significa que não há regras. Dois comandos mostram o status e todos os grupos do arquivo:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

A Anthropic diz que as regras precisam estar no robots.txt na raiz de cada subdomínio, então blog.example.com precisa do seu próprio arquivo. Esses bloqueios não são raros. No nosso estudo dos 1.000 domínios mais populares, 67 dos 518 sites que serviam um robots.txt (12,9%) bloqueavam a página inicial para o Claude-SearchBot e 68 (13,1%) para o Claude-User, enquanto 110 (21,2%) faziam o mesmo para o crawler de treinamento ClaudeBot.

Como testar o que os agentes do Claude recebem do meu servidor?

O robots.txt é um pedido, não um controle de acesso. Um firewall, uma CDN ou uma proteção contra bots pode responder aos agentes da Anthropic com um 403, um 429 ou uma página de desafio enquanto o seu navegador vê a página normalmente. A Anthropic diz que seus bots não tentam contornar CAPTCHAs, então uma página de desafio encerra a visita.

Faça a requisição da mesma URL com o user agent de um navegador e com cada token da Anthropic, e compare o status e o tamanho:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

A página de ajuda da Anthropic cita os tokens, mas não publica as strings completas de user agent, então estas são strings de teste, não as reais da Anthropic. Elas mostram como as regras que olham o nome tratam a requisição. Um 403, 429 ou 503 só nas linhas do Claude, ou um 200 bem menor que o do navegador, aponta para o seu firewall.

Seu teste sai do seu próprio endereço IP. A Anthropic diz que as requisições vindas dos endereços da lista em claude.com/crawling/bots.json são da Anthropic. Se o seu firewall libera crawlers verificados por IP, os agentes reais podem passar enquanto o seu teste é bloqueado, e o contrário também pode acontecer. Use a lista para liberar a Anthropic, não para bloqueá-la: a Anthropic desaconselha o bloqueio por IP porque ele também impede os bots dela de ler o seu robots.txt.

Como saber se o Claude realmente visita meu site?

Os logs de acesso respondem isso diretamente. Procure neles os três tokens e depois confira se os endereços de origem estão dentro das faixas publicadas pela Anthropic, porque qualquer um pode copiar o nome de um user agent:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

O primeiro comando pressupõe o formato combined, o mais comum, em que o campo 1 é o endereço do cliente e o campo 9 é o código de status. Muitos códigos 403 ou 429 ao lado dos agentes da Anthropic confirmam um problema de firewall. Nenhuma visita do Claude-SearchBot significa apenas que ele ainda não rastreou essas páginas ou que algo antes o impede.

Como testar minha página no próprio Claude?

Abra um chat e cole a URL de uma das suas páginas com um pedido como "Resuma esta página". A central de ajuda da Anthropic diz que, com a busca na web ativada, o Claude pode abrir os links que você fornece. Se a busca na web estiver desativada, ative-a no menu +; na experiência mais recente do Claude não há esse botão e o Claude pesquisa quando isso ajuda. Nos planos Team e Enterprise, um proprietário precisa primeiro ativar a busca na web para a organização. Se o Claude não consegue abrir sua página e um navegador consegue, volte ao teste de firewall.

Depois faça as perguntas que seus compradores fazem, sem citar o seu site, e abra as fontes citadas. A Anthropic diz que o Claude pode usar uma localização deduzida do seu endereço IP para dar resultados locais, então as respostas podem variar conforme o lugar e de uma execução para outra.

Desenvolvedores podem repetir isso pela API do Claude. A ferramenta de busca na web aceita uma lista allowed_domains, então uma requisição limitada ao seu domínio mostra se a busca do Claude retorna alguma das suas páginas para uma pergunta:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Resultados de busca vazios significam que a busca do Claude não encontrou nada naquele domínio para a pergunta. A Anthropic cobra as buscas na web via API além dos tokens. A ferramenta web fetch da API também informa por que uma página não pôde ser lida: url_not_allowed cobre bloqueios como o robots.txt, e url_not_accessible indica um erro HTTP. As respostas da API podem ser diferentes do que os apps do Claude mostram.

E se o Claude consegue ler minha página, mas não a cita?

Primeiro, garanta que o texto de que ele precisa está no HTML que o seu servidor envia. A documentação da API da Anthropic diz que a ferramenta web fetch não suporta sites renderizados com JavaScript, e a Anthropic não diz que os seus crawlers executam scripts. Busque sua página com curl e procure no resultado uma frase do seu conteúdo principal. Se ela não estiver lá, renderização no servidor ou pré-renderização resolve isso para o Claude e para a maioria dos outros crawlers de IA.

Depois disso, quem decide é a própria página. Coloque a resposta à pergunta principal da página nas primeiras frases, use títulos que correspondam às perguntas que as pessoas fazem, identifique quem publica e mostre as datas. Em seguida, compare sua página com a que o Claude cita para a mesma pergunta: muitas vezes a página citada responde aquela pergunta exata de forma mais direta.

Como a AISeeWhy verifica isso?

A verificação gratuita da AISeeWhy busca sua página como Claude-SearchBot, Claude-User, ClaudeBot e os outros crawlers de IA e de busca ao lado de um navegador real, aplica o seu robots.txt a cada um, reconhece páginas de desafio e mostra quanto texto chega sem JavaScript. A verificação de visibilidade em IA, nos planos pagos, faz as suas perguntas pelo Claude com busca na web usando a sua própria chave de API e mostra se a sua marca ou o seu domínio é mencionado ou citado.

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

Posso verificar de graça se o Claude consegue ver meu site?

Sim. O seu robots.txt, uma requisição com curl, o log do servidor e uma pergunta no Claude não custam nada. A verificação gratuita do AISeeWhy testa os agentes da Anthropic e outros 13 crawlers para uma página por dia, sem conta.

Por que o Claude não consegue abrir meu site quando colo o link?

As causas mais comuns são um firewall ou proteção contra bots que responde aos agentes da Anthropic com um 403 ou uma página de desafio, uma regra no robots.txt que bloqueia o Claude-User ou uma página cujo texto só aparece depois que o JavaScript roda. Teste a URL com curl como navegador e com os tokens do Claude, e procure requisições bloqueadas nos seus logs.

A Anthropic publica uma string de user agent para testes?

A página de ajuda sobre os crawlers da Anthropic lista os tokens ClaudeBot, Claude-SearchBot e Claude-User, mas nenhuma string completa de user agent. Para distinguir o tráfego real da Anthropic de imitações, compare o IP de origem com a lista em claude.com/crawling/bots.json.

Quanto tempo leva para uma mudança no robots.txt chegar ao Claude?

A Anthropic não informa um prazo. A RFC 9309 diz que os crawlers não devem usar um robots.txt em cache por mais de 24 horas, então espere pelo menos um dia antes de avaliar o resultado nos seus logs ou nas respostas do Claude.

A API do Claude dá as mesmas respostas que o app do Claude?

Não necessariamente. O app pode usar a sua localização aproximada e as próprias configurações, enquanto uma requisição à API usa as ferramentas e os parâmetros que você envia. Trate os resultados da API como um teste repetível, não como uma cópia do que cada usuário vê.

Como saber se o Claude menciona minha marca?

Faça ao Claude, com a busca na web ativada, as perguntas que seus compradores fazem e anote se ele cita ou menciona o seu site e quais concorrentes aparecem no lugar. Repita cada pergunta ao longo de várias semanas, porque as respostas variam. A verificação de visibilidade em IA da AISeeWhy faz isso toda semana pela API do Claude com a sua chave, ao lado de até quatro concorrentes.

Fontes

Mais artigos