Migrou para a Cloudflare? Verifique se os crawlers de IA ainda conseguem entrar
Proteção contra bots, "Block AI bots" e regras de WAF vêm ativadas por padrão em muitas configurações da Cloudflare. Elas podem barrar crawlers de busca com IA sem nenhum erro do seu lado.
Grátis · Sem cadastro · Resultado em 30 segundos
O que os bloqueia
Bot Fight Mode, bloqueio de bots de IA, desafios gerenciados e regras de WAF personalizadas que correspondem ao user agent do crawler ou à rede dele.
O que verificamos
Suas páginas buscadas como 16 crawlers de IA e de busca ao lado de um navegador comum, com o código de status e o cabeçalho da Cloudflare que indica um bloqueio.
Mantenha sob controle
As regras mudam. O monitoramento verifica de novo suas páginas principais e envia um e-mail quando um crawler é barrado outra vez.
Depois de um redesign · Depois de migrar para o Shopify · Depois de mudar o robots.txt