O que é Content-Signal no robots.txt, e alguém respeita?

Publicado em

Resposta curta

Content-Signal é uma linha opcional do robots.txt, publicada pela Cloudflare, que diz como o seu conteúdo pode ser usado depois de buscado: search para resultados de busca, ai-input para alimentar respostas de IA e ai-train para treinar modelos, cada um com yes ou no, como em Content-Signal: search=yes, ai-input=yes, ai-train=no. Ela expressa uma preferência e não bloqueia nada. Em novembro de 2026, nenhuma das páginas de crawlers da OpenAI, Anthropic, Google ou Perplexity diz que a lê, e as grandes empresas de IA apoiaram outro token, só para treinamento.

O robots.txt foi criado para dizer aonde um crawler pode ir, não o que pode ser feito com o que ele lê. Quando a mesma busca passou a alimentar um índice de busca, uma resposta de IA em tempo real e um conjunto de treinamento, essa lacuna começou a pesar. A Cloudflare publicou a Content Signals Policy em 24 de setembro de 2025, sob licença CC0, para preenchê-la, e disse na época que os clientes dela já tinham ativado o robots.txt gerenciado em mais de 3,8 milhões de domínios, um recurso que hoje adiciona a linha por eles.

Neste artigo
  1. O que significam search, ai-input e ai-train?
  2. Como escrever uma linha Content-Signal no robots.txt?
  3. O que diz o texto da política acima da linha?
  4. O Content-Signal já está no meu robots.txt?
  5. Os crawlers de IA respeitam o Content-Signal?
  6. Devo adicionar o Content-Signal ao meu robots.txt?
  7. Como verificar o que meu robots.txt diz a cada crawler?

O que significam search, ai-input e ai-train?

A política define três sinais. A redação abaixo segue o contentsignals.org e o texto da política que a Cloudflare publica:

Cada sinal recebe yes ou no. Nos termos da política, yes significa que o conteúdo pode ser coletado para aquele uso, no significa que não pode, e um sinal omitido nem concede nem restringe aquele uso. O padrão da Cloudflare define search e ai-train e deixa ai-input sem valor, porque ela diz que não conhece a preferência de cada cliente para esse sinal e não quer adivinhar.

A separação entre search e ai-input é a que mais gente deixa passar. Se você quer que suas páginas sejam usadas em respostas de IA, search=yes sozinho não diz isso. ai-input=yes diz.

Como escrever uma linha Content-Signal no robots.txt?

Content-Signal fica dentro de um grupo de user agent, ao lado de Allow e Disallow, com os sinais separados por vírgulas. O contentsignals.org também mostra uma forma que começa com um caminho, para que uma seção do site tenha sinais diferentes do resto:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow e Disallow continuam funcionando exatamente como antes, e Content-Signal não os substitui. A RFC 9309 permite que os crawlers interpretem registros que não fazem parte do protocolo, desde que isso não interfira nas regras definidas, então um parser que não conhece a linha deve ignorá-la.

Vale conhecer dois detalhes. Primeiro, a linha pertence a um grupo. Pela RFC 9309, um crawler que tem um grupo com o próprio nome ignora completamente o grupo User-agent: *, e as páginas do Content Signals não descrevem nenhuma exceção para essa linha. Se você der ao Googlebot ou ao OAI-SearchBot um grupo próprio, repita a linha Content-Signal ali, como o contentsignals.org faz no exemplo por crawler. Segundo, o Google Search Console pode relatar Syntax not understood para a linha. A documentação da Cloudflare menciona isso e diz que não observou impacto no rastreamento nem no SEO. A documentação de robots.txt do Google lista apenas user-agent, allow, disallow e sitemap como campos suportados.

O que diz o texto da política acima da linha?

A Content Signals Policy é mais que uma linha. O gerador da Cloudflare no contentsignals.org e o robots.txt gerenciado colocam um bloco de comentários acima dos sinais. Ele começa dizendo que, como condição para acessar o site, você concorda em respeitar os sinais de conteúdo, e depois define os três sinais e os casos yes, no e ausente.

Ele termina com uma frase em maiúsculas afirmando que quaisquer restrições expressas por sinais de conteúdo são reservas expressas de direitos nos termos do Artigo 4 da Diretiva (UE) 2019/790, sobre direitos autorais no Mercado Único Digital. O anúncio da Cloudflare acrescenta que os sinais podem ter peso legal em várias jurisdições.

O próprio contentsignals.org avisa que tribunais e reguladores podem concluir que arquivos robots.txt não impõem obrigações legais exigíveis e sugere consultar um advogado. Trate o bloco de comentários como uma declaração escrita da sua posição, não como um contrato.

O Content-Signal já está no meu robots.txt?

Se o seu site está na Cloudflare, pode estar, de uma de duas formas:

A parte use=reference é recente. A Cloudflare descreve use como um quarto campo opcional que está testando, com três valores: immediate (interagir, mas não armazenar nem reutilizar nada), reference (indexar, citar trechos e linkar de volta) e full (resumir e reproduzir). Ele não é um dos três sinais originais, e nenhuma documentação de crawler que verificamos o menciona.

Como a Cloudflare adiciona essas linhas na borda, o arquivo no seu repositório pode parecer igual enquanto o arquivo que os crawlers recebem é diferente. Busque o https://yourdomain.com/robots.txt que está no ar antes de adicionar a sua própria linha, para que a resposta não declare duas políticas diferentes.

A adoção ainda é baixa entre os grandes sites. No nosso estudo de novembro de 2026 dos 1.000 domínios mais populares, 18 dos 518 sites que serviam um robots.txt (3,5%) usavam Content-Signal.

Os crawlers de IA respeitam o Content-Signal?

Não segundo nenhuma documentação que encontramos. Em 17 de novembro de 2026, verificamos as páginas de crawlers da OpenAI, Anthropic, Google e Perplexity, e nenhuma delas menciona Content-Signal. A própria Cloudflare descreve os sinais como preferências, não como contramedidas técnicas contra scraping, e diz que algumas empresas podem simplesmente ignorá-los.

O que as empresas de IA documentaram foi outro mecanismo, baseado no trabalho do grupo de trabalho AI Preferences da IETF: um token de política, __usage_ai-training, escrito como um grupo User-Agent comum. Ele cobre só o treinamento, e o Internet-Draft que o define diz que um grupo User-Agent: * não conta como uso do token:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

O suporte é desigual e em parte ainda está por vir. A Anthropic diz que reconhece um sinal geral de treinamento legível por máquina desde 30 de outubro de 2026, que o está implantando aos poucos e que uma regra que cita ClaudeBot tem prioridade sobre ele. A Microsoft documenta o token __usage_ai-training para o Bing, com as novas preferências valendo à medida que as páginas forem rastreadas a partir de 1º de fevereiro de 2027. O Google diz que pretende suportar o controle compartilhado em 2027 e planeja tratar uma recusa de treinamento feita por ele como um bloqueio do Google-Extended quando esse token não for citado. A OpenAI publicou no mesmo dia um anúncio dizendo que vai respeitar o sinal compartilhado, sem data.

Então ai-train=no e __usage_ai-training dizem coisas parecidas, mas só o segundo tem suporte documentado das empresas de IA. Os tokens por crawler, como GPTBot e ClaudeBot, continuam sendo os controles que cada fornecedor aplica hoje.

Devo adicionar o Content-Signal ao meu robots.txt?

Adicione se você quer sua política de uso escrita em um só lugar que máquinas e pessoas consigam ler. Ele também declara uma preferência de ai-input para todos os crawlers em uma única linha, algo que os tokens dos fornecedores só conseguem expressar crawler por crawler. Custa uma linha, e os parsers que não a conhecem a ignoram.

Não dependa só dele. Para manter o conteúdo fora do treinamento, bloqueie também os tokens de treinamento documentados e considere o token de treinamento compartilhado; nosso guia sobre como bloquear o treinamento de IA e continuar na busca com IA lista os tokens por fornecedor. Para tudo o que ignora o robots.txt, só uma regra de firewall garante o bloqueio.

Por fim, confira se a linha concorda com o resto do arquivo. ai-input=no ao lado de um grupo Allow para OAI-SearchBot ou PerplexityBot passa uma mensagem contraditória: você deixa os crawlers de busca de IA entrarem enquanto diz que as respostas deles não podem usar o que eles buscam.

Como verificar o que meu robots.txt diz a cada crawler?

O verificador de robots.txt gratuito da AISeeWhy recebe o endereço de uma página ou um robots.txt colado e mostra, para cada crawler de IA e de busca, se aquela página pode ser buscada, para você confirmar que o arquivo no ar, incluindo o que a Cloudflare tiver colocado antes, diz o que você pretendia. O gerador de robots.txt gratuito cria um arquivo a partir das suas escolhas.

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

O Content-Signal faz parte do padrão robots.txt?

Não. A RFC 9309 define User-agent, Allow e Disallow e permite que os crawlers interpretem outros registros. Content-Signal vem da Content Signals Policy da Cloudflare, publicada sob licença CC0. Separadamente, o grupo de trabalho AI Preferences da IETF está redigindo a própria regra Content-Usage para o robots.txt, que ainda é um Internet-Draft, não um padrão.

ai-train=no impede o GPTBot ou o ClaudeBot?

Não pelo que os fornecedores documentam. A OpenAI e a Anthropic descrevem o controle por regras no robots.txt que citam GPTBot e ClaudeBot, e nenhuma das páginas desses crawlers menciona Content-Signal. Para recusar o treinamento em qualquer um dos dois, bloqueie o token pelo nome.

Qual a diferença entre Content-Signal e __usage_ai-training?

Content-Signal é uma linha dentro de um grupo e cobre busca, entrada para IA e treinamento. __usage_ai-training é um token de política usado como um grupo User-Agent próprio e cobre só o treinamento. Anthropic, Microsoft, Google e OpenAI publicaram declarações sobre o sinal de treinamento compartilhado; nenhuma delas documenta Content-Signal.

Por que o Google Search Console diz Syntax not understood?

A documentação de robots.txt do Google suporta apenas user-agent, allow, disallow e sitemap, então outras linhas podem ser sinalizadas. A Cloudflare diz que não observou impacto desses avisos nas taxas de rastreamento nem no SEO.

O que significa use=reference?

É um quarto campo que a Cloudflare está testando. reference significa indexar, citar trechos e linkar de volta. A Cloudflare o adiciona aos arquivos robots.txt gerenciados, e nenhuma documentação de crawler que verificamos o menciona.

Fontes

Mais artigos