Monitoramento de crawlers de IA
Uma regra de firewall, uma configuração de CDN ou um novo robots.txt pode barrar os crawlers de IA da noite para o dia, e nada no seu site parece quebrado para as pessoas. O monitoramento verifica de novo suas páginas importantes e avisa você por e-mail quando algo novo as bloqueia.
Grátis · Sem cadastro · Resultado em 30 segundos
Planos e preços → Veja um exemplo de relatório completo →
Este texto foi traduzido do inglês por tradução automática.
O que o monitoramento verifica
Cada execução é a mesma verificação gratuita da nossa página inicial. Sua página é buscada como 16 crawlers de IA e de busca, como curl e como um navegador de desktop, cada um com seu user agent publicado. O robots.txt é avaliado para cada token de crawler, e os dados estruturados, o conteúdo, as datas, os sitemaps, o hreflang e o llms.txt da página são verificados. O resultado é uma pontuação de 0 a 100 e uma lista de problemas com prioridades de P1 a P3.
Quando você recebe um e-mail
As páginas monitoradas são verificadas de novo diária ou semanalmente, como você preferir. Você recebe um e-mail quando aparece um novo problema de bloqueio, por exemplo um crawler que agora recebe um 403 ou uma página de desafio, ou quando a pontuação cai 10 pontos ou mais. O e-mail diz o que mudou e tem um link para o relatório com a correção.
O que ele não consegue ver
As requisições saem do nosso servidor com o user agent de cada crawler, não dos endereços IP dos próprios operadores. Um firewall que confia nos crawlers reais pelo IP pode tratá-los de forma diferente de nós, e todo problema de bloqueio informa isso. Para ver como os crawlers reais foram atendidos, a verificação de logs do servidor nos planos pagos lê seu log de acesso e conta as visitas e os códigos de status de cada crawler de IA.
Planos com monitoramento
- Pro, $22 por mês: 3 páginas monitoradas, para um site pessoal e não comercial.
- Business, $88 por mês: 25 páginas monitoradas, para sites de empresas e trabalho para clientes.
- Agency, $288 por mês: 60 páginas monitoradas para muitos sites de clientes.
- Enterprise, $888 por mês: 100 páginas monitoradas.
O plano gratuito não tem monitoramento: ele oferece uma verificação por dia com a pontuação e o primeiro problema encontrado. Os planos são cobrados mensalmente, podem ser cancelados a qualquer momento, e todo pagamento pode ser reembolsado integralmente em até 14 dias.
Como começar
- Faça a verificação gratuita na sua página mais importante e veja o primeiro problema encontrado.
- Escolha um plano na página de preços e entre com o seu e-mail.
- Adicione as páginas a acompanhar em Monitoramento, na sua conta: a página inicial, preços, as principais páginas de produto ou serviço e os artigos principais.
- Escolha diário ou semanal. Depois de uma correção, verifique a página de novo para ver a pontuação antes e depois.
Perguntas frequentes
Quais mudanças disparam um alerta?
Um novo problema de bloqueio em uma página monitorada, como um crawler que agora é recusado, ou uma queda de 10 pontos ou mais na pontuação desde a verificação anterior.
O monitoramento usa o GPTBot ou o ClaudeBot de verdade?
Não. Ele envia os user agents publicados deles a partir do nosso servidor. Isso mostra como o seu firewall e o seu servidor tratam esses user agents; a verificação de logs do servidor mostra as visitas reais.
Posso monitorar sites de clientes?
Sim, nos planos Business, Agency e Enterprise. O Pro é para uso pessoal e não comercial.
Posso testar antes de pagar?
A verificação gratuita mostra o que uma execução encontra em qualquer página. O monitoramento em si exige um plano pago, que você pode cancelar a qualquer momento e ter reembolsado em até 14 dias.