Monitoramento de crawlers de IA

Uma regra de firewall, uma configuração de CDN ou um novo robots.txt pode barrar os crawlers de IA da noite para o dia, e nada no seu site parece quebrado para as pessoas. O monitoramento verifica de novo suas páginas importantes e avisa você por e-mail quando algo novo as bloqueia.

Grátis · Sem cadastro · Resultado em 30 segundos

Planos e preços → Veja um exemplo de relatório completo →

Este texto foi traduzido do inglês por tradução automática.

O que o monitoramento verifica

Cada execução é a mesma verificação gratuita da nossa página inicial. Sua página é buscada como 16 crawlers de IA e de busca, como curl e como um navegador de desktop, cada um com seu user agent publicado. O robots.txt é avaliado para cada token de crawler, e os dados estruturados, o conteúdo, as datas, os sitemaps, o hreflang e o llms.txt da página são verificados. O resultado é uma pontuação de 0 a 100 e uma lista de problemas com prioridades de P1 a P3.

Quando você recebe um e-mail

As páginas monitoradas são verificadas de novo diária ou semanalmente, como você preferir. Você recebe um e-mail quando aparece um novo problema de bloqueio, por exemplo um crawler que agora recebe um 403 ou uma página de desafio, ou quando a pontuação cai 10 pontos ou mais. O e-mail diz o que mudou e tem um link para o relatório com a correção.

O que ele não consegue ver

As requisições saem do nosso servidor com o user agent de cada crawler, não dos endereços IP dos próprios operadores. Um firewall que confia nos crawlers reais pelo IP pode tratá-los de forma diferente de nós, e todo problema de bloqueio informa isso. Para ver como os crawlers reais foram atendidos, a verificação de logs do servidor nos planos pagos lê seu log de acesso e conta as visitas e os códigos de status de cada crawler de IA.

Planos com monitoramento

O plano gratuito não tem monitoramento: ele oferece uma verificação por dia com a pontuação e o primeiro problema encontrado. Os planos são cobrados mensalmente, podem ser cancelados a qualquer momento, e todo pagamento pode ser reembolsado integralmente em até 14 dias.

Como começar

  1. Faça a verificação gratuita na sua página mais importante e veja o primeiro problema encontrado.
  2. Escolha um plano na página de preços e entre com o seu e-mail.
  3. Adicione as páginas a acompanhar em Monitoramento, na sua conta: a página inicial, preços, as principais páginas de produto ou serviço e os artigos principais.
  4. Escolha diário ou semanal. Depois de uma correção, verifique a página de novo para ver a pontuação antes e depois.

Perguntas frequentes

Quais mudanças disparam um alerta?

Um novo problema de bloqueio em uma página monitorada, como um crawler que agora é recusado, ou uma queda de 10 pontos ou mais na pontuação desde a verificação anterior.

O monitoramento usa o GPTBot ou o ClaudeBot de verdade?

Não. Ele envia os user agents publicados deles a partir do nosso servidor. Isso mostra como o seu firewall e o seu servidor tratam esses user agents; a verificação de logs do servidor mostra as visitas reais.

Posso monitorar sites de clientes?

Sim, nos planos Business, Agency e Enterprise. O Pro é para uso pessoal e não comercial.

Posso testar antes de pagar?

A verificação gratuita mostra o que uma execução encontra em qualquer página. O monitoramento em si exige um plano pago, que você pode cancelar a qualquer momento e ter reembolsado em até 14 dias.

Ferramentas e guias relacionados