Como verificar se um site bloqueia crawlers de IA
Cole qualquer endereço e veja se ele bloqueia o GPTBot, o ClaudeBot, o PerplexityBot e os outros crawlers de IA: no robots.txt, no firewall ou nos dois.
Grátis · Sem cadastro · Resultado em 30 segundos
Quais crawlers estão bloqueados
Os crawlers de treinamento, de busca e de usuário aparecem separados, porque bloquear o GPTBot não bloqueia o OAI-SearchBot, e bloquear o ClaudeBot não bloqueia o Claude-SearchBot.
A linha que decide
Para cada crawler, o robots.txt é lido pelas regras da RFC 9309: o grupo que cita o crawler, ou User-agent: * como alternativa, e a regra que prevalece.
Recusas do firewall
A página é solicitada como 14 crawlers e como um navegador comum. Bloqueios e páginas de desafio são sinalizados e o firewall que respondeu é identificado.
Uma correção para cada problema
Cada problema vem com a alteração a fazer. A verificação gratuita mostra sua pontuação e o primeiro problema; o relatório completo custa $29, pagamento único.
Um site pode bloquear crawlers de IA em dois lugares: no robots.txt, que pede aos crawlers que fiquem de fora, e no servidor ou firewall, que de fato os recusa. Procure no robots.txt o token de cada crawler e, na falta dele, User-agent: *; depois baixe a página como o crawler e compare com o que um navegador recebe. Uma extensão de navegador faz a parte do robots.txt para 16 crawlers de IA com um clique.
Verifique manualmente em 3 passos
- Escolha o crawler
Cada empresa de IA mantém crawlers separados. Treinamento:
GPTBot,ClaudeBot. Busca:OAI-SearchBot,Claude-SearchBot,PerplexityBot. A pedido de uma pessoa:ChatGPT-User,Claude-User,Perplexity-User. - Leia o robots.txt para ele
Abra
https://example.com/robots.txte encontre o grupo que cita o crawler. Se nenhum grupo o citar, vale o grupoUser-agent: *; se não houver nenhum dos dois, tudo é permitido. - Baixe a página como o crawler
Peça a página com o user agent do crawler e compare o status e o tamanho com os de um navegador. Um 403, uma página de desafio ou um 200 bem menor significa que o firewall o recusa.
Perguntas frequentes
Um site sem robots.txt está aberto aos crawlers de IA?
Sim, no que depende do robots.txt. Um 404 no robots.txt significa que não há regras, então qualquer crawler pode baixar qualquer página. Um firewall ainda pode bloquear crawlers.
A extensão mostra bloqueios do firewall?
Não. Ela lê o robots.txt a partir do seu navegador, o que mostra o que o site pede aos crawlers. Bloqueios de firewall e de proteção contra bots exigem uma requisição enviada como o crawler, que é o que faz a verificação completa do aiseewhy.com.
Posso verificar um site que não é meu?
Sim. O robots.txt é público, e a extensão lê apenas os arquivos robots.txt e llms.txt que o site publica, os mesmos que todo crawler lê.
Leia o guia completo
Seja para verificar seu próprio site depois de uma mudança, seja para olhar o site de outra pessoa antes de confiar nele, a pergunta "este site bloqueia crawlers de IA?" tem uma resposta precisa. Ela depende de qual crawler você tem em mente, porque as empresas de IA mantêm crawlers separados para treinamento, para busca e para visitas em tempo real, e um site pode tratar cada um de um jeito. Este guia mostra três verificações, da mais rápida à mais completa.
Onde um site pode bloquear crawlers de IA?
Há três camadas, e um crawler precisa passar por todas para usar uma página.
- robots.txt: um arquivo público de regras que crawlers bem-comportados leem antes de baixar qualquer coisa. É um pedido, não uma tranca.
- O servidor, a CDN ou o firewall: é ali que se decide o que de fato é devolvido. Uma regra de proteção contra bots pode responder a um crawler com um 403, um 429 ou uma página de desafio mesmo quando o robots.txt o permite.
- A própria página: se o texto principal só aparece depois que o JavaScript roda, um crawler que lê o HTML inicial recebe uma página quase vazia, embora nada o tenha bloqueado.
A maioria das verificações rápidas olha só a primeira camada. É um bom começo, desde que você se lembre das outras duas.
Como leio o robots.txt para um crawler de IA?
Abra https://example.com/robots.txt no navegador e encontre o grupo que se aplica ao crawler. Um grupo começa com uma ou mais linhas User-agent. O crawler usa o grupo que cita o seu token, como GPTBot; a comparação não diferencia maiúsculas de minúsculas. Se nenhum grupo o cita, ele usa o grupo User-agent: *. Se não houver nenhum dos dois, tudo é permitido.
Dentro do grupo, vence a regra com o caminho correspondente mais longo, e quando um Allow e um Disallow têm o mesmo tamanho, vence o Allow. Por isso o arquivo abaixo bloqueia o GPTBot no site inteiro, mas deixa entrar todos os outros crawlers:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Veja também como o arquivo responde. Pela RFC 9309, um 404 significa que não há regras, então tudo é permitido. Um erro de servidor (5xx) ou nenhuma resposta significa que o crawler deve tratar o site inteiro como bloqueado. Um endereço de robots.txt que devolve uma página HTML é um erro comum: os crawlers não encontram regras válidas nela.
Como verifico todos os crawlers de IA de uma vez?
Ler o arquivo à mão fica lento quando mais de um crawler importa para você. Cada empresa de IA mantém vários, com funções diferentes:
- Crawlers de treinamento coletam conteúdo para treinar modelos:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, além dos tokensGoogle-ExtendedeApplebot-Extended, que só aparecem no robots.txt. - Crawlers de busca indexam páginas para que as respostas de IA possam citá-las:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Crawlers de usuário baixam uma página quando uma pessoa pede ao assistente:
ChatGPT-User,Claude-User,Perplexity-User.
A extensão gratuita Verificador de crawlers de IA para Chrome faz isso com um clique. Abra qualquer página e clique no ícone: ela lê o robots.txt daquele site e mostra, para cada um dos 16 crawlers, se a página é permitida e qual linha decide isso. Ela também mostra as preferências de Content-Signal, se o site tem um llms.txt e os sitemaps listados no robots.txt. Ela roda no seu navegador, não precisa de conta e lê apenas o site em que você a usa.
Sem o Chrome, o verificador gratuito de robots.txt do aiseewhy.com dá a mesma resposta para uma URL que você colar.
Como verifico se o firewall deixa os crawlers passarem?
O robots.txt mostra o que o site pede. Para ver o que um crawler realmente recebe, peça a página duas vezes, uma como navegador e outra com o user agent do crawler, e compare o código de status e o tamanho da resposta:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Se o navegador recebe 200 e o crawler recebe 403, 429 ou 503, ou uma página bem menor, um firewall ou uma proteção contra bots trata o crawler de forma diferente. Há um limite que vale para qualquer teste externo: ele sai da sua rede, não da rede da empresa de IA. Um firewall que confia nos crawlers pelos endereços IP publicados pode tratar o crawler verdadeiro de outro jeito, então a palavra final é dos logs do seu servidor.
A verificação completa do aiseewhy.com baixa a página como cada um dos 16 crawlers, ao lado de um navegador real, aponta o firewall ou a regra que bloqueia um crawler e compara o texto que cada um recebeu.
Que resultado devo buscar?
Depende do que você quer. Se quer ser citado na busca do ChatGPT, no Claude e na Perplexity, os crawlers de busca e de usuário precisam estar liberados no robots.txt e receber a página real do servidor. Se não quer que seu conteúdo seja usado em treinamento, bloqueie só os tokens de treinamento. São escolhas separadas: bloquear o GPTBot não bloqueia o OAI-SearchBot, e bloquear o ClaudeBot não bloqueia o Claude-SearchBot.
Muitos sites confundem as duas coisas. No nosso relatório de novembro de 2026 sobre os 1.000 domínios mais populares, 63% dos sites que bloqueiam um crawler de treinamento também bloqueiam pelo menos um crawler de busca ou de usuário de IA, o que deixa suas páginas fora dessas respostas de IA.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificador e validador de llms.txt
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Fontes
- RFC 9309: Robots Exclusion Protocol
- OpenAI: visão geral dos crawlers da OpenAI
- Anthropic: a Anthropic rastreia dados da web, e como os donos de sites podem bloquear o crawler?
- Perplexity: crawlers da Perplexity
- Google: crawlers comuns, incluindo o Google-Extended
- AISeeWhy: Relatório de acesso de crawlers de IA, 2026-11