GPTBot está bloqueado
Uma requisição enviada com o user agent deste crawler foi recusada: recebeu status 4xx ou 5xx, um cabeçalho cf-mitigated da Cloudflare ou uma página de desafio, enquanto a requisição de um navegador comum recebeu a página. Encontre a regra de firewall, CDN ou proteção contra bots que casa com o user agent e libere o crawler.
O que significa
Uma requisição com o user agent GPTBot recebeu status 403 ou uma página de desafio, enquanto um navegador recebeu a página. Testado a partir de um IP não verificado: isso mostra como seu firewall trata esse user agent; o rastreador real, vindo de seus IPs verificados, pode ser tratado de outra forma.
Por que isso importa para a busca com IA
Crawlers de busca e de usuário, como OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot e Perplexity-User, buscam páginas para montar respostas e os links que aparecem nelas. Se recebem um 403 ou uma página de desafio, a página não pode ser citada nem linkada, por melhor que seja. Por isso o AISeeWhy classifica o bloqueio desses crawlers como P1.
Crawlers de treinamento (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) são classificados como P3: bloqueá-los é uma escolha de política, não um erro. O teste parte de um IP não verificado, então mostra como suas regras tratam o user agent; o crawler real, vindo das faixas de IP publicadas, pode ser tratado de outra forma.
Como corrigir
- Abra o achado para ver qual crawler foi bloqueado, o status que recebeu e o WAF detectado pela auditoria. O relatório do AISeeWhy mostra as evidências e uma correção pronta para colar; depois execute “Verificar de novo” para confirmar o resultado.
- Na Cloudflare, confira Security → Events para ver a requisição bloqueada e depois crie uma regra personalizada de WAF que case com o crawler (bots verificados ou o token do user agent) com a ação Skip para as demais regras personalizadas, o Super Bot Fight Mode e o limite de taxa. Em AI Crawl Control, defina o crawler como Allow.
- Na Vercel, Akamai, Imperva, Sucuri ou AWS WAF, encontre a regra de gerenciamento de bots ou a regra gerenciada que disparou e adicione uma exceção para o crawler, de preferência verificada pelas faixas de IP publicadas pelo fornecedor ou por DNS reverso, e não só pelo user agent.
- No nginx ou Apache, procure na configuração linhas
deny,return 403ouRewriteCond %{HTTP_USER_AGENT}que citem o crawler e, no WordPress, confira plugins de segurança que bloqueiam “bots ruins”. - Decida crawler por crawler: liberar os crawlers de busca e de usuário é o que faz as páginas serem citadas, enquanto os crawlers de treinamento podem continuar bloqueados se essa for a sua política.
Exemplo
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limitingComo confirmar a correção
Depois da mudança, clique em “Verificar de novo” no relatório: ele mostra o que foi corrigido e como a nota mudou.