O robots.txt permite o GPTBot, mas o servidor o bloqueia
Seu robots.txt permite que este crawler busque a página, mas uma requisição com o user agent dele foi bloqueada pelo servidor, por uma CDN ou por um firewall. A política declarada e o comportamento real divergem. Mude a regra do firewall para bater com o robots.txt, ou bloqueie o crawler no robots.txt se a intenção era barrá-lo.
O que significa
Suas regras deixam o GPTBot entrar, mas a requisição com o user agent dele foi bloqueada. O firewall ou a CDN sobrepõe a política que você definiu.
Por que isso importa para a busca com IA
Os crawlers tratam o robots.txt como a sua política. Quando ele diz sim e o servidor responde 403, o crawler gasta requisições, pode tentar de novo mais tarde e a página continua sem entrar no índice do mecanismo de respostas. As equipes muitas vezes acreditam que liberam a busca com IA porque o robots.txt diz isso, enquanto uma regra de bots a bloqueia em silêncio.
O teste parte de um endereço IP não verificado. Uma regra que só deixa o crawler passar a partir das faixas de IP publicadas, o que é uma configuração razoável, pode portanto aparecer aqui mesmo que o crawler real consiga entrar. Veja qual regra disparou antes de mudar qualquer coisa.
Como corrigir
- Compare o grupo do robots.txt e o status da requisição bloqueada no achado. O relatório do AISeeWhy mostra as evidências e uma correção pronta para colar; depois execute “Verificar de novo” para confirmar o resultado.
- Encontre a regra que bloqueou a requisição: na Cloudflare, confira Security → Events e as configurações de AI Crawl Control e Bot Fight Mode; em outras CDNs, confira o log de gerenciamento de bots.
- Se você quer o crawler dentro, adicione uma exceção para ele; se quer fora, adicione um grupo Disallow para o token dele, para que a política fique declarada em um só lugar.
Como confirmar a correção
Depois da mudança, clique em “Verificar de novo” no relatório: ele mostra o que foi corrigido e como a nota mudou.