Não foi possível obter o robots.txt
A busca de /robots.txt falhou: o servidor respondeu com status 5xx ou 429, ou não respondeu. Pela RFC 9309, os crawlers passam então a tratar o site inteiro como bloqueado. Faça /robots.txt retornar status 200 com texto simples, ou um 404 se você não tem regras.
O que significa
O robots.txt respondeu com status 403 ou não respondeu. Pela RFC 9309, os rastreadores passam a tratar o site inteiro como proibido.
Por que isso importa para a busca com IA
A RFC 9309 diz que um crawler que não consegue acessar o robots.txt por causa de um erro de servidor deve presumir bloqueio total. Googlebot, Bingbot e os crawlers de IA que seguem o padrão param de buscar páginas até o robots.txt voltar a responder, então um único arquivo quebrado pode esconder o site inteiro.
Um arquivo ausente é diferente: um 404 ou outro status 4xx significa que não há regras, então tudo é permitido e o AISeeWhy não relata nada. O problema são só os erros de servidor, os limites de taxa (429) e as requisições que expiram ou são recusadas antes de voltar qualquer status.
Como corrigir
- Abra
https://seu-dominio/robots.txtde fora da sua rede e anote o status. A auditoria o busca com um user agent de navegador. - Se for um 5xx, confira a rota na origem: frameworks como o Next.js o servem a partir de
public/robots.txtouapp/robots.ts, e o WordPress o gera dinamicamente, então um erro de PHP o quebra. - Se for 429 ou timeout, isente
/robots.txtdo limite de taxa e dos desafios de bots na sua CDN ou WAF. - Coloque o robots.txt em cache na CDN para que ele continue respondendo quando a origem estiver lenta. O relatório do AISeeWhy mostra as evidências e uma correção pronta para colar; depois execute “Verificar de novo” para confirmar o resultado.
Como confirmar a correção
Depois da mudança, clique em “Verificar de novo” no relatório: ele mostra o que foi corrigido e como a nota mudou.