O que é Content-Signal no robots.txt, e alguém respeita?
Content-Signal é uma linha opcional do robots.txt, publicada pela Cloudflare, que diz como o seu conteúdo pode ser usado depois de buscado: search para resultados de busca, ai-input para alimentar respostas de IA e ai-train para treinar modelos, cada um com yes ou no, como em Content-Signal: search=yes, ai-input=yes, ai-train=no. Ela expressa uma preferência e não bloqueia nada. Em novembro de 2026, nenhuma das páginas de crawlers da OpenAI, Anthropic, Google ou Perplexity diz que a lê, e as grandes empresas de IA apoiaram outro token, só para treinamento.
O robots.txt foi criado para dizer aonde um crawler pode ir, não o que pode ser feito com o que ele lê. Quando a mesma busca passou a alimentar um índice de busca, uma resposta de IA em tempo real e um conjunto de treinamento, essa lacuna começou a pesar. A Cloudflare publicou a Content Signals Policy em 24 de setembro de 2025, sob licença CC0, para preenchê-la, e disse na época que os clientes dela já tinham ativado o robots.txt gerenciado em mais de 3,8 milhões de domínios, um recurso que hoje adiciona a linha por eles.
Neste artigo
- O que significam search, ai-input e ai-train?
- Como escrever uma linha Content-Signal no robots.txt?
- O que diz o texto da política acima da linha?
- O Content-Signal já está no meu robots.txt?
- Os crawlers de IA respeitam o Content-Signal?
- Devo adicionar o Content-Signal ao meu robots.txt?
- Como verificar o que meu robots.txt diz a cada crawler?
O que significam search, ai-input e ai-train?
A política define três sinais. A redação abaixo segue o contentsignals.org e o texto da política que a Cloudflare publica:
search: criar um índice de busca e fornecer resultados de busca, por exemplo devolvendo hiperlinks e trechos curtos das suas páginas. A definição diz que search não inclui resumos de busca gerados por IA.ai-input: inserir conteúdo em um ou mais modelos de IA, por exemplo geração aumentada por recuperação, grounding ou outro uso em tempo real do conteúdo para respostas de busca com IA generativa.ai-train: treinar ou ajustar (fine-tuning) modelos de IA.
Cada sinal recebe yes ou no. Nos termos da política, yes significa que o conteúdo pode ser coletado para aquele uso, no significa que não pode, e um sinal omitido nem concede nem restringe aquele uso. O padrão da Cloudflare define search e ai-train e deixa ai-input sem valor, porque ela diz que não conhece a preferência de cada cliente para esse sinal e não quer adivinhar.
A separação entre search e ai-input é a que mais gente deixa passar. Se você quer que suas páginas sejam usadas em respostas de IA, search=yes sozinho não diz isso. ai-input=yes diz.
Como escrever uma linha Content-Signal no robots.txt?
Content-Signal fica dentro de um grupo de user agent, ao lado de Allow e Disallow, com os sinais separados por vírgulas. O contentsignals.org também mostra uma forma que começa com um caminho, para que uma seção do site tenha sinais diferentes do resto:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow e Disallow continuam funcionando exatamente como antes, e Content-Signal não os substitui. A RFC 9309 permite que os crawlers interpretem registros que não fazem parte do protocolo, desde que isso não interfira nas regras definidas, então um parser que não conhece a linha deve ignorá-la.
Vale conhecer dois detalhes. Primeiro, a linha pertence a um grupo. Pela RFC 9309, um crawler que tem um grupo com o próprio nome ignora completamente o grupo User-agent: *, e as páginas do Content Signals não descrevem nenhuma exceção para essa linha. Se você der ao Googlebot ou ao OAI-SearchBot um grupo próprio, repita a linha Content-Signal ali, como o contentsignals.org faz no exemplo por crawler. Segundo, o Google Search Console pode relatar Syntax not understood para a linha. A documentação da Cloudflare menciona isso e diz que não observou impacto no rastreamento nem no SEO. A documentação de robots.txt do Google lista apenas user-agent, allow, disallow e sitemap como campos suportados.
O que diz o texto da política acima da linha?
A Content Signals Policy é mais que uma linha. O gerador da Cloudflare no contentsignals.org e o robots.txt gerenciado colocam um bloco de comentários acima dos sinais. Ele começa dizendo que, como condição para acessar o site, você concorda em respeitar os sinais de conteúdo, e depois define os três sinais e os casos yes, no e ausente.
Ele termina com uma frase em maiúsculas afirmando que quaisquer restrições expressas por sinais de conteúdo são reservas expressas de direitos nos termos do Artigo 4 da Diretiva (UE) 2019/790, sobre direitos autorais no Mercado Único Digital. O anúncio da Cloudflare acrescenta que os sinais podem ter peso legal em várias jurisdições.
O próprio contentsignals.org avisa que tribunais e reguladores podem concluir que arquivos robots.txt não impõem obrigações legais exigíveis e sugere consultar um advogado. Trate o bloco de comentários como uma declaração escrita da sua posição, não como um contrato.
O Content-Signal já está no meu robots.txt?
Se o seu site está na Cloudflare, pode estar, de uma de duas formas:
- Robots.txt gerenciado. Quando o Bot Preference Sync está ativado e pelo menos uma AI Crawler and Agent access policy está em Block, Block on pages with ads ou, para Training, Disallow, a Cloudflare coloca um bloco gerenciado antes do robots.txt que o seu servidor envia. Ele traz o texto da política,
Content-signal: search=yes, ai-train=no, use=referencesobUser-Agent: *eDisallow: /paraAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotemeta-externalagent. - Nenhum robots.txt. A Cloudflare diz que domínios no plano Free que não têm robots.txt próprio e não usam o recurso gerenciado mostram a Content Signals Policy quando um crawler solicita
/robots.txt. Essa versão traz as definições, mas não declara nenhuma preferência.
A parte use=reference é recente. A Cloudflare descreve use como um quarto campo opcional que está testando, com três valores: immediate (interagir, mas não armazenar nem reutilizar nada), reference (indexar, citar trechos e linkar de volta) e full (resumir e reproduzir). Ele não é um dos três sinais originais, e nenhuma documentação de crawler que verificamos o menciona.
Como a Cloudflare adiciona essas linhas na borda, o arquivo no seu repositório pode parecer igual enquanto o arquivo que os crawlers recebem é diferente. Busque o https://yourdomain.com/robots.txt que está no ar antes de adicionar a sua própria linha, para que a resposta não declare duas políticas diferentes.
A adoção ainda é baixa entre os grandes sites. No nosso estudo de novembro de 2026 dos 1.000 domínios mais populares, 18 dos 518 sites que serviam um robots.txt (3,5%) usavam Content-Signal.
Os crawlers de IA respeitam o Content-Signal?
Não segundo nenhuma documentação que encontramos. Em 17 de novembro de 2026, verificamos as páginas de crawlers da OpenAI, Anthropic, Google e Perplexity, e nenhuma delas menciona Content-Signal. A própria Cloudflare descreve os sinais como preferências, não como contramedidas técnicas contra scraping, e diz que algumas empresas podem simplesmente ignorá-los.
O que as empresas de IA documentaram foi outro mecanismo, baseado no trabalho do grupo de trabalho AI Preferences da IETF: um token de política, __usage_ai-training, escrito como um grupo User-Agent comum. Ele cobre só o treinamento, e o Internet-Draft que o define diz que um grupo User-Agent: * não conta como uso do token:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ O suporte é desigual e em parte ainda está por vir. A Anthropic diz que reconhece um sinal geral de treinamento legível por máquina desde 30 de outubro de 2026, que o está implantando aos poucos e que uma regra que cita ClaudeBot tem prioridade sobre ele. A Microsoft documenta o token __usage_ai-training para o Bing, com as novas preferências valendo à medida que as páginas forem rastreadas a partir de 1º de fevereiro de 2027. O Google diz que pretende suportar o controle compartilhado em 2027 e planeja tratar uma recusa de treinamento feita por ele como um bloqueio do Google-Extended quando esse token não for citado. A OpenAI publicou no mesmo dia um anúncio dizendo que vai respeitar o sinal compartilhado, sem data.
Então ai-train=no e __usage_ai-training dizem coisas parecidas, mas só o segundo tem suporte documentado das empresas de IA. Os tokens por crawler, como GPTBot e ClaudeBot, continuam sendo os controles que cada fornecedor aplica hoje.
Devo adicionar o Content-Signal ao meu robots.txt?
Adicione se você quer sua política de uso escrita em um só lugar que máquinas e pessoas consigam ler. Ele também declara uma preferência de ai-input para todos os crawlers em uma única linha, algo que os tokens dos fornecedores só conseguem expressar crawler por crawler. Custa uma linha, e os parsers que não a conhecem a ignoram.
Não dependa só dele. Para manter o conteúdo fora do treinamento, bloqueie também os tokens de treinamento documentados e considere o token de treinamento compartilhado; nosso guia sobre como bloquear o treinamento de IA e continuar na busca com IA lista os tokens por fornecedor. Para tudo o que ignora o robots.txt, só uma regra de firewall garante o bloqueio.
Por fim, confira se a linha concorda com o resto do arquivo. ai-input=no ao lado de um grupo Allow para OAI-SearchBot ou PerplexityBot passa uma mensagem contraditória: você deixa os crawlers de busca de IA entrarem enquanto diz que as respostas deles não podem usar o que eles buscam.
Como verificar o que meu robots.txt diz a cada crawler?
O verificador de robots.txt gratuito da AISeeWhy recebe o endereço de uma página ou um robots.txt colado e mostra, para cada crawler de IA e de busca, se aquela página pode ser buscada, para você confirmar que o arquivo no ar, incluindo o que a Cloudflare tiver colocado antes, diz o que você pretendia. O gerador de robots.txt gratuito cria um arquivo a partir das suas escolhas.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
O Content-Signal faz parte do padrão robots.txt?
Não. A RFC 9309 define User-agent, Allow e Disallow e permite que os crawlers interpretem outros registros. Content-Signal vem da Content Signals Policy da Cloudflare, publicada sob licença CC0. Separadamente, o grupo de trabalho AI Preferences da IETF está redigindo a própria regra Content-Usage para o robots.txt, que ainda é um Internet-Draft, não um padrão.
ai-train=no impede o GPTBot ou o ClaudeBot?
Não pelo que os fornecedores documentam. A OpenAI e a Anthropic descrevem o controle por regras no robots.txt que citam GPTBot e ClaudeBot, e nenhuma das páginas desses crawlers menciona Content-Signal. Para recusar o treinamento em qualquer um dos dois, bloqueie o token pelo nome.
Qual a diferença entre Content-Signal e __usage_ai-training?
Content-Signal é uma linha dentro de um grupo e cobre busca, entrada para IA e treinamento. __usage_ai-training é um token de política usado como um grupo User-Agent próprio e cobre só o treinamento. Anthropic, Microsoft, Google e OpenAI publicaram declarações sobre o sinal de treinamento compartilhado; nenhuma delas documenta Content-Signal.
Por que o Google Search Console diz Syntax not understood?
A documentação de robots.txt do Google suporta apenas user-agent, allow, disallow e sitemap, então outras linhas podem ser sinalizadas. A Cloudflare diz que não observou impacto desses avisos nas taxas de rastreamento nem no SEO.
O que significa use=reference?
É um quarto campo que a Cloudflare está testando. reference significa indexar, citar trechos e linkar de volta. A Cloudflare o adiciona aos arquivos robots.txt gerenciados, e nenhuma documentação de crawler que verificamos o menciona.
Fontes
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Relatório de acesso de crawlers de IA, 2026-11