Mudou o robots.txt? Veja como cada crawler de IA o lê
Uma linha no grupo errado pode bloquear a busca do ChatGPT quando você queria bloquear só o treinamento de IA. Confira o resultado para 16 crawlers.
Grátis · Sem cadastro · Resultado em 30 segundos
Qual grupo se aplica
Um crawler segue o grupo que o cita pelo nome, não o grupo *, o que surpreende muitos donos de sites.
Busca ou treinamento
Bloqueie os crawlers de treinamento se quiser, mantendo os que colocam você nas respostas da busca com IA.
A correção exata
As linhas a mudar, prontas para colar, e uma nova verificação para confirmar.
Depois de migrar para a Cloudflare · Depois de um redesign · Depois de migrar para o Shopify