Què és Content-Signal al robots.txt i algú el respecta?

Publicat

Resposta breu

Content-Signal és una línia opcional del robots.txt, publicada per Cloudflare, que indica com es pot fer servir el teu contingut un cop obtingut: search per als resultats de cerca, ai-input per fer-lo servir en respostes d'IA i ai-train per entrenar models, cadascun amb el valor yes o no, com a Content-Signal: search=yes, ai-input=yes, ai-train=no. Expressa una preferència i no bloqueja res. A novembre de 2026, cap de les pàgines de rastrejadors d'OpenAI, Anthropic, Google o Perplexity diu que el llegeixi, mentre que les grans empreses d'IA han donat suport a un altre token, només per a l'entrenament.

El robots.txt es va crear per dir on pot anar un rastrejador, no què es pot fer amb el que llegeix. Quan una mateixa obtenció va poder alimentar un índex de cerca, una resposta d'IA en directe i un conjunt d'entrenament, aquest buit va començar a importar. Cloudflare va publicar la Content Signals Policy el 24 de setembre de 2025 amb llicència CC0 per omplir-lo, i va dir llavors que els seus clients ja havien activat el robots.txt gestionat en més de 3,8 milions de dominis, una funció que ara hi afegeix la línia per ells.

En aquesta pàgina
  1. Què volen dir search, ai-input i ai-train?
  2. Com escric una línia Content-Signal al robots.txt?
  3. Què diu el text de la política que hi ha sobre la línia?
  4. El meu robots.txt ja té Content-Signal?
  5. Els rastrejadors d'IA respecten Content-Signal?
  6. Hauria d'afegir Content-Signal al meu robots.txt?
  7. Com puc comprovar què diu el meu robots.txt a cada rastrejador?

Què volen dir search, ai-input i ai-train?

La política defineix tres senyals. La descripció següent segueix contentsignals.org i el text de la política que publica Cloudflare:

Cada senyal pren yes o no. En els termes de la política, yes vol dir que el contingut es pot recollir per a aquell ús, no vol dir que no, i un senyal que no hi posis ni concedeix ni restringeix aquell ús. La configuració per defecte de Cloudflare defineix search i ai-train i deixa ai-input sense definir, perquè diu que no sap la preferència de cada client per a aquest senyal i no vol endevinar-la.

La separació entre search i ai-input és la que passa per alt més gent. Si vols que les teves pàgines es facin servir en respostes d'IA, search=yes sol no ho diu. ai-input=yes sí.

Com escric una línia Content-Signal al robots.txt?

Content-Signal va dins d'un grup de user agent, al costat de Allow i Disallow, amb els senyals separats per comes. contentsignals.org també mostra una forma que comença amb un camí, perquè una secció del lloc pugui tenir senyals diferents de la resta:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow i Disallow continuen funcionant exactament igual, i Content-Signal no els substitueix. L'RFC 9309 permet als rastrejadors interpretar registres que no formen part del protocol, sempre que això no interfereixi amb les regles definides, així que un analitzador que no conegui la línia l'hauria d'ometre.

Val la pena conèixer dos detalls. Primer, la línia pertany a un grup. Segons l'RFC 9309, un rastrejador que té un grup amb el seu nom ignora del tot el grup User-agent: *, i les pàgines de Content Signals no descriuen cap excepció per a aquesta línia. Si dones a Googlebot o a OAI-SearchBot un grup propi, repeteix-hi la línia Content-Signal, com fa contentsignals.org al seu exemple per rastrejador. Segon, Google Search Console pot mostrar Syntax not understood per a la línia. La documentació de Cloudflare ho esmenta i diu que no ha observat cap impacte en el rastreig ni en el SEO. La documentació del robots.txt de Google només llista user-agent, allow, disallow i sitemap com a camps admesos.

Què diu el text de la política que hi ha sobre la línia?

La Content Signals Policy és més que una línia. El generador de Cloudflare a contentsignals.org i el seu robots.txt gestionat posen un bloc de comentaris damunt dels senyals. Comença dient que, com a condició per accedir al lloc web, acceptes respectar els content signals, i després defineix els tres senyals i els casos yes, no i absent.

Acaba amb una frase en majúscules que afirma que qualsevol restricció expressada mitjançant content signals és una reserva expressa de drets d'acord amb l'article 4 de la Directiva (UE) 2019/790 sobre els drets d'autor al mercat únic digital. L'anunci de Cloudflare hi afegeix que els senyals poden tenir pes legal en diverses jurisdiccions.

El mateix contentsignals.org adverteix que els tribunals i els reguladors poden concloure que els fitxers robots.txt no imposen obligacions legals exigibles, i recomana consultar un advocat. Tracta el bloc de comentaris com una declaració escrita de la teva posició, no com un contracte.

El meu robots.txt ja té Content-Signal?

Si el teu lloc és a Cloudflare, és possible, d'una d'aquestes dues maneres:

La part use=reference és recent. Cloudflare descriu use com un quart camp opcional que està provant, amb tres valors: immediate (interactuar, però no desar ni reutilitzar res), reference (indexar, citar un fragment i enllaçar a l'original) i full (resumir i reproduir). No és un dels tres senyals originals, i cap de les documentacions de rastrejadors que hem revisat no l'esmenta.

Com que Cloudflare afegeix aquestes línies a l'edge, el fitxer del teu repositori pot semblar igual mentre el fitxer que reben els rastrejadors és diferent. Obté el https://yourdomain.com/robots.txt publicat abans d'afegir-hi la teva línia, perquè la resposta no expressi dues polítiques diferents.

L'adopció encara és baixa entre els llocs grans. En el nostre estudi de novembre de 2026 dels 1.000 dominis més populars, 18 dels 518 llocs que servien un robots.txt (3,5%) feien servir Content-Signal.

Els rastrejadors d'IA respecten Content-Signal?

No segons cap documentació que hàgim trobat. El 17 de novembre de 2026 vam revisar les pàgines de rastrejadors d'OpenAI, Anthropic, Google i Perplexity, i cap no esmenta Content-Signal. La mateixa Cloudflare descriu els senyals com a preferències, no com a mesures tècniques contra l'extracció de dades, i diu que algunes empreses simplement els podrien ignorar.

El que han documentat les empreses d'IA és un mecanisme diferent basat en la feina del grup de treball AI Preferences de l'IETF: un token de política, __usage_ai-training, escrit com un grup User-Agent normal. Només cobreix l'entrenament, i l'Internet-Draft que el defineix diu que un grup User-Agent: * no compta com a ús del token:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

El suport és desigual i en part encara ha d'arribar. Anthropic diu que reconeix un senyal general d'entrenament llegible per màquines des del 30 d'octubre de 2026, que l'està implantant de manera gradual i que una regla que anomena ClaudeBot hi té prioritat. Microsoft documenta el token __usage_ai-training per a Bing, i les seves noves preferències s'apliquen a mesura que es rastregen les pàgines a partir de l'1 de febrer de 2027. Google diu que vol admetre el control compartit el 2027 i que té previst tractar-hi una exclusió de l'entrenament com un bloqueig de Google-Extended quan aquest token no s'anomeni. OpenAI va publicar un anunci el mateix dia dient que respectarà el senyal compartit, sense data.

Així doncs, ai-train=no i __usage_ai-training diuen coses semblants, però només el segon té suport documentat de les empreses d'IA. Els tokens de cada rastrejador, com GPTBot i ClaudeBot, continuen sent els controls que cada proveïdor aplica avui.

Hauria d'afegir Content-Signal al meu robots.txt?

Afegeix-lo si vols que la teva política d'ús quedi escrita en un sol lloc que puguin llegir màquines i persones. També expressa una preferència d'ai-input per a tots els rastrejadors en una sola línia, cosa que els tokens dels proveïdors només poden fer rastrejador per rastrejador. Costa una línia, i els analitzadors que no la coneixen l'ometen.

No hi confiïs només a ell. Per mantenir el contingut fora de l'entrenament, bloqueja també els tokens d'entrenament documentats i considera el token compartit d'entrenament; la nostra guia per bloquejar l'entrenament d'IA sense sortir de la cerca d'IA llista els tokens per proveïdor. Per a tot el que ignora el robots.txt, només una regla del tallafoc fa complir un bloqueig.

Finalment, comprova que la línia sigui coherent amb la resta del fitxer. ai-input=no al costat d'un grup Allow per a OAI-SearchBot o PerplexityBot envia missatges contradictoris: deixes entrar els rastrejadors de cerca d'IA però dius que les seves respostes no poden fer servir el que obtenen.

Com puc comprovar què diu el meu robots.txt a cada rastrejador?

El comprovador gratuït de robots.txt d'AISeeWhy accepta l'adreça d'una pàgina o un robots.txt enganxat i mostra, per a cada rastrejador d'IA i de cerca, si es pot obtenir aquella pàgina, perquè puguis confirmar que el fitxer publicat, inclòs el que Cloudflare hi hagi afegit al principi, diu el que volies dir. El generador gratuït de robots.txt crea un fitxer a partir de les teves opcions.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Content-Signal forma part de l'estàndard del robots.txt?

No. L'RFC 9309 defineix User-agent, Allow i Disallow i permet als rastrejadors interpretar altres registres. Content-Signal ve de la Content Signals Policy de Cloudflare, publicada amb llicència CC0. A banda, el grup de treball AI Preferences de l'IETF està redactant la seva pròpia regla Content-Usage per al robots.txt, que encara és un Internet-Draft, no un estàndard.

ai-train=no atura GPTBot o ClaudeBot?

No segons el que documenten els proveïdors. OpenAI i Anthropic descriuen el control amb regles del robots.txt que anomenen GPTBot i ClaudeBot, i cap de les dues pàgines de rastrejadors no esmenta Content-Signal. Per excloure't de l'entrenament de qualsevol dels dos, bloqueja el token pel seu nom.

Quina diferència hi ha entre Content-Signal i __usage_ai-training?

Content-Signal és una línia dins d'un grup i cobreix la cerca, l'entrada a la IA i l'entrenament. __usage_ai-training és un token de política que es fa servir com a grup User-Agent propi i només cobreix l'entrenament. Anthropic, Microsoft, Google i OpenAI han publicat declaracions sobre el senyal compartit d'entrenament; cap no documenta Content-Signal.

Per què Google Search Console diu Syntax not understood?

La documentació del robots.txt de Google només admet user-agent, allow, disallow i sitemap, així que altres línies es poden marcar. Cloudflare diu que no ha observat cap impacte d'aquests avisos en la freqüència de rastreig ni en el SEO.

Què vol dir use=reference?

És un quart camp que Cloudflare està provant. reference vol dir indexar, citar un fragment i enllaçar a l'original. Cloudflare l'afegeix als fitxers robots.txt gestionats, i cap de les documentacions de rastrejadors que hem revisat no l'esmenta.

Fonts

Més articles