Cos'è Content-Signal nel robots.txt e qualcuno lo rispetta?
Content-Signal è una riga facoltativa del robots.txt, pubblicata da Cloudflare, che indica come possono essere usati i tuoi contenuti dopo essere stati scaricati: search per i risultati di ricerca, ai-input per inserirli nelle risposte dell'IA e ai-train per addestrare i modelli, ognuno impostato su yes o no, come in Content-Signal: search=yes, ai-input=yes, ai-train=no. Esprime una preferenza e non blocca nulla. A novembre 2026 nessuna delle pagine sui crawler di OpenAI, Anthropic, Google o Perplexity dice di leggerla, mentre le grandi aziende di IA hanno sostenuto un token diverso, solo per l'addestramento.
Il robots.txt è nato per dire dove un crawler può andare, non cosa si può fare con ciò che legge. Quando lo stesso recupero ha iniziato ad alimentare un indice di ricerca, una risposta dell'IA in tempo reale e un set di addestramento, quella lacuna è diventata importante. Cloudflare ha pubblicato la Content Signals Policy il 24 settembre 2025 con licenza CC0 per colmarla, e allora ha detto che i suoi clienti avevano già attivato il robots.txt gestito per oltre 3,8 milioni di domini, una funzione che ora aggiunge la riga per loro.
In questa pagina
- Cosa significano search, ai-input e ai-train?
- Come scrivo una riga Content-Signal nel robots.txt?
- Cosa dice il testo della policy sopra la riga?
- Content-Signal è già nel mio robots.txt?
- I crawler di IA rispettano Content-Signal?
- Conviene aggiungere Content-Signal al mio robots.txt?
- Come controllo cosa dice il mio robots.txt a ogni crawler?
Cosa significano search, ai-input e ai-train?
La policy definisce tre segnali. La formulazione qui sotto segue contentsignals.org e il testo della policy pubblicato da Cloudflare:
search: costruire un indice di ricerca e fornire risultati di ricerca, per esempio restituendo link ed estratti brevi delle tue pagine. La definizione precisa che search non include i riepiloghi di ricerca generati dall'IA.ai-input: inserire contenuti in uno o più modelli di IA, per esempio retrieval augmented generation, grounding o altri usi in tempo reale dei contenuti per risposte di ricerca con IA generativa.ai-train: addestrare o fare fine-tuning di modelli di IA.
Ogni segnale accetta yes o no. Nei termini della policy, yes significa che i contenuti possono essere raccolti per quell'uso, no che non possono, e un segnale omesso né concede né limita quell'uso. L'impostazione predefinita di Cloudflare imposta search e ai-train e lascia ai-input non impostato, perché dice di non conoscere la preferenza di ogni cliente per quel segnale e di non voler tirare a indovinare.
La distinzione tra search e ai-input è quella che sfugge ai più. Se vuoi che le tue pagine siano usate nelle risposte dell'IA, search=yes da solo non lo dice. ai-input=yes sì.
Come scrivo una riga Content-Signal nel robots.txt?
Content-Signal va dentro un gruppo user agent, accanto ad Allow e Disallow, con i segnali separati da virgole. contentsignals.org mostra anche una forma che inizia con un percorso, così una sezione del sito può avere segnali diversi dal resto:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow e Disallow continuano a funzionare esattamente come prima e Content-Signal non li sostituisce. La RFC 9309 consente ai crawler di interpretare record che non fanno parte del protocollo, purché questo non interferisca con le regole definite, quindi un parser che non conosce la riga dovrebbe ignorarla.
Due dettagli da sapere. Primo, la riga appartiene a un gruppo. Secondo la RFC 9309 un crawler che ha un gruppo con il proprio nome ignora completamente il gruppo User-agent: *, e le pagine di Content Signals non descrivono eccezioni per questa riga. Se dai a Googlebot o OAI-SearchBot un gruppo proprio, ripeti lì la riga Content-Signal, come fa contentsignals.org nel suo esempio per singolo crawler. Secondo, Google Search Console può segnalare Syntax not understood per la riga. La documentazione di Cloudflare lo menziona e dice di non aver osservato effetti sulla scansione o sulla SEO. La documentazione di Google sul robots.txt elenca come campi supportati solo user-agent, allow, disallow e sitemap.
Cosa dice il testo della policy sopra la riga?
La Content Signals Policy è più di una riga. Il generatore di Cloudflare su contentsignals.org e il suo robots.txt gestito mettono entrambi un blocco di commenti sopra i segnali. Si apre dicendo che, come condizione per accedere al sito, accetti di rispettare i content signal, poi definisce i tre segnali e i casi yes, no e assente.
Si chiude con una frase in maiuscolo secondo cui qualsiasi restrizione espressa tramite content signal costituisce una riserva espressa dei diritti ai sensi dell'articolo 4 della direttiva UE 2019/790 sul diritto d'autore nel mercato unico digitale. L'annuncio di Cloudflare aggiunge che i segnali possono avere valore legale in varie giurisdizioni.
La stessa contentsignals.org avverte che tribunali e autorità potrebbero concludere che i file robots.txt non impongono obblighi legali vincolanti, e suggerisce di rivolgersi a un avvocato. Considera il blocco di commenti come una dichiarazione scritta della tua posizione, non come un contratto.
Content-Signal è già nel mio robots.txt?
Se il tuo sito è su Cloudflare, potrebbe esserci, in uno di questi due modi:
- Robots.txt gestito. Quando Bot Preference Sync è attivo e almeno una AI Crawler and Agent access policy è impostata su Block, Block on pages with ads o, per Training, Disallow, Cloudflare antepone un blocco gestito al robots.txt inviato dal tuo server. Contiene il testo della policy,
Content-signal: search=yes, ai-train=no, use=referencesottoUser-Agent: *eDisallow: /perAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotemeta-externalagent. - Nessun robots.txt. Cloudflare dice che i domini del piano Free che non hanno un proprio robots.txt e non usano la funzione gestita mostrano la Content Signals Policy quando un crawler richiede
/robots.txt. Quella versione contiene le definizioni ma non esprime alcuna preferenza.
La parte use=reference è recente. Cloudflare descrive use come un quarto campo facoltativo che sta testando, con tre valori: immediate (interagire, ma non conservare né riutilizzare nulla), reference (indicizzare, citare estratti e rimandare con un link) e full (riassumere e riprodurre). Non è uno dei tre segnali originali e nessuna documentazione dei crawler che abbiamo controllato lo menziona.
Poiché Cloudflare aggiunge queste righe sull'edge, il file nel tuo repository può sembrare invariato mentre quello che ricevono i crawler è diverso. Scarica il https://yourdomain.com/robots.txt online prima di aggiungere la tua riga, così la risposta non esprime due policy diverse.
L'adozione tra i grandi siti è ancora bassa. Nel nostro studio di novembre 2026 sui 1.000 domini più popolari, 18 dei 518 siti che servivano un robots.txt (3,5%) usavano Content-Signal.
I crawler di IA rispettano Content-Signal?
No, stando alla documentazione che abbiamo trovato. Il 17 novembre 2026 abbiamo controllato le pagine sui crawler di OpenAI, Anthropic, Google e Perplexity, e nessuna menziona Content-Signal. La stessa Cloudflare descrive i segnali come preferenze, non come contromisure tecniche contro lo scraping, e dice che alcune aziende potrebbero semplicemente ignorarli.
Quello che le aziende di IA hanno documentato è invece un meccanismo separato, basato sul lavoro del gruppo di lavoro AI Preferences dell'IETF: un token di policy, __usage_ai-training, scritto come un normale gruppo User-Agent. Copre solo l'addestramento, e l'Internet-Draft che lo definisce dice che un gruppo User-Agent: * non conta come uso del token:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Il supporto è disomogeneo e in parte deve ancora arrivare. Anthropic dice di riconoscere un segnale generale di addestramento leggibile dalle macchine dal 30 ottobre 2026, di introdurlo gradualmente e che una regola che nomina ClaudeBot ha la precedenza. Microsoft documenta il token __usage_ai-training per Bing, con le nuove preferenze che entrano in vigore man mano che le pagine vengono scansionate dal 1° febbraio 2027. Google dice di voler supportare il controllo condiviso nel 2027 e di voler trattare un opt-out dall'addestramento espresso con esso come un disallow di Google-Extended quando quel token non è nominato. OpenAI ha pubblicato lo stesso giorno un annuncio in cui dice che rispetterà il segnale condiviso, senza indicare una data.
Quindi ai-train=no e __usage_ai-training dicono cose simili, ma solo il secondo ha un supporto documentato dalle aziende di IA. I token per singolo crawler, come GPTBot e ClaudeBot, restano i controlli che ogni fornitore applica oggi.
Conviene aggiungere Content-Signal al mio robots.txt?
Aggiungilo se vuoi che la tua policy d'uso sia scritta in un unico posto leggibile da macchine e persone. Esprime anche una preferenza ai-input per ogni crawler in una sola riga, cosa che i token dei fornitori possono fare solo crawler per crawler. Costa una riga, e i parser che non la conoscono la ignorano.
Non affidarti solo a questa. Per tenere i contenuti fuori dall'addestramento, blocca anche i token di addestramento documentati e valuta il token di addestramento condiviso; la nostra guida su come bloccare l'addestramento dell'IA e restare nelle risposte elenca i token per fornitore. Per tutto ciò che ignora il robots.txt, solo una regola del firewall impone davvero un blocco.
Infine controlla che la riga sia coerente con il resto del file. ai-input=no accanto a un gruppo Allow per OAI-SearchBot o PerplexityBot manda messaggi contraddittori: fai entrare i crawler di ricerca IA ma dici che le loro risposte non possono usare ciò che scaricano.
Come controllo cosa dice il mio robots.txt a ogni crawler?
Il tester robots.txt gratuito di AISeeWhy accetta l'indirizzo di una pagina o un robots.txt incollato e mostra, per ogni crawler di IA e di ricerca, se quella pagina può essere scaricata, così puoi confermare che il file online, compreso quanto anteposto da Cloudflare, dica ciò che intendevi. Il generatore robots.txt gratuito scrive un file a partire dalle tue scelte.
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
Content-Signal fa parte dello standard robots.txt?
No. La RFC 9309 definisce User-agent, Allow e Disallow e consente ai crawler di interpretare altri record. Content-Signal deriva dalla Content Signals Policy di Cloudflare, rilasciata con licenza CC0. Separatamente, il gruppo di lavoro AI Preferences dell'IETF sta scrivendo una propria regola Content-Usage per il robots.txt, che è ancora un Internet-Draft, non uno standard.
ai-train=no ferma GPTBot o ClaudeBot?
No, per quanto documentano i fornitori. OpenAI e Anthropic descrivono il controllo tramite regole del robots.txt che nominano GPTBot e ClaudeBot, e nessuna delle due pagine sui crawler menziona Content-Signal. Per escluderti dall'addestramento con entrambi, blocca il token per nome.
Che differenza c'è tra Content-Signal e __usage_ai-training?
Content-Signal è una riga dentro un gruppo e copre ricerca, input per l'IA e addestramento. __usage_ai-training è un token di policy usato come gruppo User-Agent a sé e copre solo l'addestramento. Anthropic, Microsoft, Google e OpenAI hanno pubblicato dichiarazioni sul segnale di addestramento condiviso; nessuna di loro documenta Content-Signal.
Perché Google Search Console segnala Syntax not understood?
La documentazione di Google sul robots.txt supporta solo user-agent, allow, disallow e sitemap, quindi le altre righe possono essere segnalate. Cloudflare dice di non aver osservato effetti di queste segnalazioni sulla frequenza di scansione o sulla SEO.
Cosa significa use=reference?
È un quarto campo che Cloudflare sta testando. reference significa indicizzare, citare estratti e rimandare con un link. Cloudflare lo aggiunge ai file robots.txt gestiti, e nessuna documentazione dei crawler che abbiamo controllato lo menziona.
Fonti
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11