Gerador de robots.txt para crawlers de IA
Escolha quais crawlers de IA podem ler o seu site e copie o robots.txt gerado. Uma escolha comum é bloquear crawlers de treinamento de IA, como GPTBot e ClaudeBot, mas liberar crawlers de busca com IA, como OAI-SearchBot e PerplexityBot, para que as suas páginas ainda possam aparecer e ser citadas nas respostas de IA.
Bloquear os fetchers acionados pelo usuário tem efeito limitado: alguns fornecedores dizem que esses agentes podem não seguir o robots.txt, porque uma pessoa pediu a página. Teste o resultado com o verificador de robots.txt antes de publicá-lo. Verificador de robots.txt para crawlers de IA →
Como usar
Coloque o arquivo na raiz do seu domínio (https://example.com/robots.txt). Se você já tem regras para outros crawlers, mantenha-as e adicione apenas os grupos de IA. As mudanças passam a valer na próxima vez que cada crawler ler o arquivo, geralmente em até um dia.