Como bloquear o treinamento de IA e continuar nas respostas de busca com IA

Q: Bloquear o GPTBot vai tirar meu site das respostas do ChatGPT?

Não. A OpenAI diz que o GPTBot é para treinamento e que cada configuração de robots.txt é independente. A busca do ChatGPT usa o OAI-SearchBot; enquanto ele estiver liberado e não for barrado pelo seu firewall, suas páginas continuam elegíveis.

Q: Bloquear o Google-Extended me tira do AI Overviews?

Não, segundo a documentação do Google. O Google diz que o Google-Extended não afeta a inclusão na Busca Google, e o AI Overviews usa o índice da Busca. O Google oferece um controle separado no Search Console para excluir um site do AI Overviews e do AI Mode.

Q: Existe uma única linha que bloqueia todo o treinamento de IA?

Não existe uma linha padrão para isso. Content-Signal: ai-train=no declara a preferência para todos os crawlers, mas se um crawler a respeita depende do operador. Grupos nomeados para cada token de treinamento são a forma documentada.

Publicado em 2026-11-12

Resposta curta

A maioria dos fornecedores de IA usa tokens de robots.txt separados para treinamento de modelos e para busca. Bloqueie os tokens de treinamento, como GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent e CCBot, e libere os tokens de busca e de usuário, como OAI-SearchBot, Claude-SearchBot e PerplexityBot. Adicione uma linha Content-Signal para declarar a mesma preferência em palavras.

Muitos donos de site querem duas coisas ao mesmo tempo: não querem que o seu conteúdo seja usado para treinar modelos de IA e querem que assistentes de IA encontrem, citem e linkem as suas páginas. Como os principais fornecedores agora dividem essas tarefas entre crawlers ou tokens diferentes, o robots.txt consegue expressar as duas escolhas. O problema é que os nomes variam entre fornecedores, alguns não seguem o padrão, e uma linha errada pode tirar você das respostas de IA em vez de dos dados de treinamento.

Neste artigo

Qual é a diferença entre um crawler de treinamento e um de busca?
Quais tokens controlam o treinamento e quais controlam a busca?
Como fica o robots.txt?
Quantos sites já fazem isso?
O que o Content-Signal acrescenta?
Onde essa divisão não funciona de forma limpa?
Como verifico se a divisão funciona?

Qual é a diferença entre um crawler de treinamento e um de busca?

Um crawler de treinamento coleta páginas que podem ser usadas para construir ou melhorar modelos de IA. O treinamento por si só não gera citação nem link. Um crawler de busca monta um índice que um assistente de IA usa para encontrar fontes para uma resposta, e essas fontes são o que ele pode citar. Um agente acionado pelo usuário abre uma página em tempo real porque alguém perguntou sobre ela.

Os fornecedores documentam esses papéis separadamente e dizem que as configurações são independentes. A OpenAI, por exemplo, diz que cada configuração de robots.txt dos seus crawlers é independente das outras. Assim, uma saída do treinamento, feita corretamente, não afeta a sua visibilidade na busca.

Quais tokens controlam o treinamento e quais controlam a busca?

Estes são os tokens que os fornecedores documentam, agrupados pelo que controlam:

OpenAI: o GPTBot rastreia conteúdo que pode ser usado para treinar seus modelos de base. O OAI-SearchBot é para a busca do ChatGPT, e o ChatGPT-User cuida de ações do usuário; a OpenAI diz que o robots.txt pode não valer para ele.
Anthropic: o ClaudeBot coleta conteúdo que pode contribuir para o treinamento. O Claude-SearchBot melhora os resultados de busca do Claude, e o Claude-User busca páginas para usuários. A Anthropic diz que seus bots respeitam o robots.txt.
Google: o Google-Extended é um token de robots.txt sem crawler próprio. Ele controla o uso no treinamento de futuros modelos Gemini e no grounding dos apps Gemini e do Vertex AI. O Google diz que ele não afeta a inclusão nem o ranqueamento na Busca Google, que é controlada pelo Googlebot.
Apple: o Applebot-Extended não rastreia; ele controla se o conteúdo rastreado pelo Applebot é usado para treinar os modelos de base da Apple. A Apple diz que páginas que o bloqueiam ainda podem aparecer nos resultados de busca dela.
Meta: o meta-externalagent rastreia para usos como o treinamento de modelos de base, enquanto o meta-webindexer melhora os resultados de busca da Meta AI.
Common Crawl: o CCBot monta o arquivo público da web do Common Crawl. O robots.txt gerenciado da Cloudflare o lista entre os crawlers de treinamento de IA que ela bloqueia.
Perplexity: o PerplexityBot e o Perplexity-User atendem à busca e a pedidos de usuários. A Perplexity diz que nenhum dos dois é usado para coletar dados de treinamento, então não existe um token de treinamento da Perplexity para bloquear.

Como fica o robots.txt?

Várias linhas User-agent em sequência formam um único grupo pelo RFC 9309, então as regras valem para cada uma delas. Este arquivo sai dos tokens de treinamento acima, libera os agentes de busca e de usuário e mantém um caminho privado fechado para todos:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Dois detalhes importam. Primeiro, um grupo nomeado não herda de *, então os caminhos privados precisam ser repetidos no grupo de busca. Segundo, não coloque o Googlebot nem o Applebot no grupo de treinamento: eles são os crawlers de busca, e bloqueá-los tira você da Busca Google e dos recursos de busca da Apple. As mudanças não são instantâneas: a OpenAI fala em cerca de 24 horas para a busca, e a Perplexity em até 24 horas.

Quantos sites já fazem isso?

Menos do que se imagina. Em 2026-11-12, lemos os arquivos robots.txt dos 1.000 domínios mais populares da lista Tranco. Dos 518 que serviam um robots.txt, 155 (29,9%) bloqueiam a página inicial para pelo menos um crawler de treinamento de IA. Só 57 (11,0%) seguem o caminho seletivo: bloqueiam crawlers de treinamento e liberam todos os crawlers de busca e de usuário de IA que testamos. No total, 101 sites (19,5%) bloqueiam pelo menos um crawler de busca ou de usuário de IA.

Os números por crawler mostram a mesma divisão. O GPTBot está bloqueado em 111 sites (21,4%) e o OAI-SearchBot em 58 (11,2%). O ClaudeBot está bloqueado em 110 (21,2%) e o Claude-SearchBot em 67 (12,9%). O Google-Extended está bloqueado em 94 (18,1%), o Googlebot em 14 (2,7%). Apenas 18 sites (3,5%) usam o Content-Signal.

O estudo considera apenas as regras de robots.txt para a página inicial. Ele não mede bloqueios de firewall e não mostra o que cada site pretendia.

O que o Content-Signal acrescenta?

O Content Signals é uma extensão do robots.txt publicada pela Cloudflare em contentsignals.org. Uma linha Content-Signal declara como o conteúdo pode ser usado, com três sinais: search (montar um índice de busca e mostrar links e trechos curtos), ai-input (colocar conteúdo em modelos de IA em tempo real, como grounding ou recuperação para respostas generativas) e ai-train (treinar ou ajustar modelos).

Note que a definição de search exclui os resumos de busca gerados por IA. Se você quer aparecer em respostas de IA, defina também ai-input=yes, como no exemplo acima. O robots.txt gerenciado da Cloudflare adiciona search=yes, ai-train=no por padrão; um sinal que você omite não concede nem restringe aquele uso.

Essas são preferências declaradas. O site do Content Signals diz que elas não impedem o rastreamento no nível técnico, e a Cloudflare observa que o cumprimento do robots.txt é voluntário. Nenhuma das páginas de crawlers da OpenAI, Anthropic, Google ou Perplexity que verificamos diz se eles leem o Content-Signal, então trate-o como um complemento aos grupos por crawler, não como substituto.

Onde essa divisão não funciona de forma limpa?

Alguns casos exigem cuidado:

O AI Overviews e o AI Mode do Google usam o índice da Busca que o Googlebot monta, então o Google-Extended não tira você deles. A ajuda do Search Console acrescenta que o Google-Extended limita o treinamento dos modelos por trás dos recursos de IA generativa da Busca, um escopo que a documentação do crawler não menciona. O Google agora oferece uma configuração separada no Search Console para excluir um site do AI Overviews e do AI Mode.
A OpenAI diz que, se um site libera tanto o GPTBot quanto o OAI-SearchBot, ela pode usar o resultado de um rastreamento para os dois fins. Bloquear o GPTBot é o que sinaliza que o conteúdo não deve ser usado para treinamento.
As saídas valem daqui em diante. A Anthropic, por exemplo, descreve o bloqueio do ClaudeBot como excluir o conteúdo futuro do seu site dos conjuntos de dados de treinamento.
Os agentes acionados pelo usuário ficam no meio. A OpenAI e a Perplexity dizem que o robots.txt pode não valer para o ChatGPT-User e em geral não vale para o Perplexity-User.
Firewalls não leem o robots.txt. Uma regra ampla de bloqueio de bots pode barrar os crawlers de busca que você liberou. Se você aplica o bloqueio de treinamento no firewall, confira os agentes de treinamento pelo nome e verifique-os pelas faixas de IP publicadas.

Como verifico se a divisão funciona?

Leia o seu robots.txt como cada crawler leria: encontre o grupo que o cita, recorra ao * só se nenhum o citar e aplique a regra correspondente mais longa. Depois peça uma página com o user agent de cada crawler de busca e confirme que ele recebe um 200 com o conteúdo completo, e não um 403 nem uma página de desafio.

A AISeeWhy faz as duas coisas para 14 crawlers, agrupados como treinamento, busca e agentes de usuário, e sinaliza o erro mais comum: bloquear um token de busca, como PerplexityBot ou Claude-SearchBot, quando a intenção era bloquear o treinamento.

Perguntas frequentes

Bloquear o GPTBot vai tirar meu site das respostas do ChatGPT?

Não. A OpenAI diz que o GPTBot é para treinamento e que cada configuração de robots.txt é independente. A busca do ChatGPT usa o OAI-SearchBot; enquanto ele estiver liberado e não for barrado pelo seu firewall, suas páginas continuam elegíveis.

Bloquear o Google-Extended me tira do AI Overviews?

Não, segundo a documentação do Google. O Google diz que o Google-Extended não afeta a inclusão na Busca Google, e o AI Overviews usa o índice da Busca. O Google oferece um controle separado no Search Console para excluir um site do AI Overviews e do AI Mode.

Existe uma única linha que bloqueia todo o treinamento de IA?

Não existe uma linha padrão para isso. Content-Signal: ai-train=no declara a preferência para todos os crawlers, mas se um crawler a respeita depende do operador. Grupos nomeados para cada token de treinamento são a forma documentada.

Devo bloquear a Perplexity para impedir o treinamento de IA?

A Perplexity diz que seus agentes não são usados para coletar dados de treinamento. Bloquear o PerplexityBot reduz a sua visibilidade nos resultados de busca da Perplexity sem servir como saída do treinamento.