Come bloccare l'addestramento dell'IA e restare nelle risposte della ricerca IA

Q: Bloccare GPTBot mi toglie dalle risposte di ChatGPT?

No. OpenAI dice che GPTBot serve all'addestramento e che ogni impostazione del robots.txt è indipendente. La ricerca di ChatGPT usa OAI-SearchBot; finché è consentito e non è bloccato dal tuo firewall, le tue pagine restano idonee.

Q: Bloccare Google-Extended mi toglie dagli AI Overviews?

Non secondo la documentazione di Google. Google dice che Google-Extended non influisce sull'inclusione in Google Search e che gli AI Overviews attingono all'indice di Search. Google offre un controllo separato in Search Console per escludere un sito dagli AI Overviews e dalla modalità IA.

Q: Esiste una sola riga che blocca tutto l'addestramento dell'IA?

No, non esiste una riga standard. Content-Signal: ai-train=no dichiara la preferenza per tutti i crawler, ma se un crawler la rispetta davvero dipende dal gestore. I gruppi con nome per ogni token di addestramento sono il metodo documentato.

Pubblicato 2026-11-12

Risposta breve

La maggior parte dei fornitori di IA usa token robots.txt distinti per l'addestramento dei modelli e per la ricerca. Vieta i token di addestramento, come GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent e CCBot, e consenti i token di ricerca e degli utenti, come OAI-SearchBot, Claude-SearchBot e PerplexityBot. Aggiungi una riga Content-Signal per dichiarare la stessa preferenza a parole.

Molti proprietari di siti vogliono due cose insieme: non vogliono che i loro contenuti servano ad addestrare modelli di IA, e vogliono che gli assistenti di IA trovino, citino e linkino le loro pagine. Poiché i principali fornitori ora ripartiscono questi compiti tra crawler o token diversi, il robots.txt può esprimere entrambe le scelte. Il problema è che i nomi cambiano da un fornitore all'altro, alcuni fornitori non seguono lo schema e una sola riga sbagliata può toglierti dalle risposte dell'IA invece che dai dati di addestramento.

In questa pagina

Che differenza c'è tra un crawler di addestramento e uno di ricerca?
Quali token controllano l'addestramento e quali la ricerca?
Che aspetto ha il robots.txt?
Quanti siti lo fanno già?
Che cosa aggiunge Content-Signal?
Dove la separazione non è netta?
Come verifico che la separazione funzioni?

Che differenza c'è tra un crawler di addestramento e uno di ricerca?

Un crawler di addestramento raccoglie pagine che possono servire a costruire o migliorare modelli di IA. L'addestramento di per sé non produce né una citazione né un link. Un crawler di ricerca costruisce un indice che un assistente di IA usa per trovare le fonti di una risposta, e sono quelle fonti che può citare. Un downloader richiesto dall'utente apre una pagina in tempo reale perché qualcuno ha chiesto di quella pagina.

I fornitori documentano questi ruoli separatamente e dicono che le impostazioni sono indipendenti. OpenAI, per esempio, dice che ogni impostazione del robots.txt per i suoi crawler è indipendente dalle altre. Quindi un'esclusione dall'addestramento, fatta bene, non tocca la tua visibilità nella ricerca.

Quali token controllano l'addestramento e quali la ricerca?

Questi sono i token documentati dai fornitori, raggruppati per ciò che controllano:

OpenAI: GPTBot scansiona contenuti che possono servire ad addestrare i suoi modelli di base. OAI-SearchBot serve alla ricerca di ChatGPT e ChatGPT-User gestisce le azioni degli utenti; OpenAI dice che il robots.txt potrebbe non valere per quest'ultimo.
Anthropic: ClaudeBot raccoglie contenuti che potrebbero contribuire all'addestramento. Claude-SearchBot migliora i risultati di ricerca di Claude e Claude-User scarica le pagine per conto degli utenti. Anthropic dice che i suoi bot rispettano il robots.txt.
Google: Google-Extended è un token del robots.txt senza un crawler proprio. Controlla l'uso per l'addestramento dei futuri modelli Gemini e per il grounding in Gemini Apps e Vertex AI. Google dice che non influisce sull'inclusione né sul posizionamento in Google Search, che si controlla tramite Googlebot.
Apple: Applebot-Extended non scansiona; controlla se i contenuti scansionati da Applebot vengono usati per addestrare i modelli di base di Apple. Apple dice che le pagine che lo vietano possono comunque comparire nei suoi risultati di ricerca.
Meta: meta-externalagent scansiona per usi come l'addestramento dei modelli di base, mentre meta-webindexer migliora i risultati di ricerca di Meta AI.
Common Crawl: CCBot costruisce l'archivio web pubblico di Common Crawl. Il robots.txt gestito di Cloudflare lo include tra i crawler di addestramento dell'IA che vieta.
Perplexity: PerplexityBot e Perplexity-User servono la ricerca e le richieste degli utenti. Perplexity dice che nessuno dei due viene usato per raccogliere dati di addestramento, quindi non esiste un token di addestramento di Perplexity da bloccare.

Che aspetto ha il robots.txt?

Secondo l'RFC 9309 più righe User-agent consecutive formano un unico gruppo, quindi le regole si applicano a ciascuna di esse. Questo file esclude i token di addestramento elencati sopra, consente gli agenti di ricerca e degli utenti, e tiene chiuso per tutti un percorso privato:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Due dettagli contano. Primo, un gruppo con nome non eredita da *, quindi i percorsi privati vanno ripetuti nel gruppo di ricerca. Secondo, non aggiungere Googlebot o Applebot al gruppo di addestramento: sono i crawler di ricerca, e bloccarli ti toglie da Google Search e dalle funzioni di ricerca di Apple. Le modifiche non sono immediate: OpenAI indica circa 24 ore per la ricerca e Perplexity fino a 24 ore.

Quanti siti lo fanno già?

Meno di quanti ci si aspetterebbe. Il 2026-11-12 abbiamo letto i robots.txt dei 1.000 domini più popolari dell'elenco Tranco. Dei 518 che servivano un robots.txt, 155 (29,9%) vietano la home page ad almeno un crawler di addestramento dell'IA. Solo 57 (11,0%) scelgono la via selettiva: bloccano i crawler di addestramento e consentono tutti i crawler di ricerca e degli utenti dell'IA che abbiamo testato. In tutto, 101 siti (19,5%) bloccano almeno un crawler di ricerca o degli utenti dell'IA.

I numeri crawler per crawler mostrano la stessa divisione. GPTBot è bloccato su 111 siti (21,4%) e OAI-SearchBot su 58 (11,2%). ClaudeBot è bloccato su 110 (21,2%) e Claude-SearchBot su 67 (12,9%). Google-Extended è bloccato su 94 (18,1%), Googlebot su 14 (2,7%). Solo 18 siti (3,5%) usano Content-Signal.

Lo studio considera solo le regole del robots.txt per la home page. Non misura i blocchi del firewall e non mostra che cosa intendesse ciascun sito.

Che cosa aggiunge Content-Signal?

Content Signals è un'estensione del robots.txt pubblicata da Cloudflare su contentsignals.org. Una riga Content-Signal dichiara come i contenuti possono essere usati, con tre segnali: search (costruire un indice di ricerca e mostrare link ed estratti brevi), ai-input (inserire i contenuti nei modelli di IA in tempo reale, per esempio per il grounding o il recupero nelle risposte generative) e ai-train (addestrare o rifinire i modelli).

Nota che la definizione di search esclude i riassunti di ricerca generati dall'IA. Se vuoi comparire nelle risposte dell'IA, imposta anche ai-input=yes, come nell'esempio sopra. Il robots.txt gestito di Cloudflare aggiunge per impostazione predefinita search=yes, ai-train=no; un segnale che ometti non concede né limita quell'uso.

Sono preferenze dichiarate. Il sito di Content Signals dice che non impediscono la scansione a livello tecnico, e Cloudflare osserva che il rispetto del robots.txt è volontario. Nessuna delle pagine sui crawler di OpenAI, Anthropic, Google o Perplexity che abbiamo controllato dice se leggano Content-Signal, quindi consideralo un'aggiunta ai gruppi per singolo crawler, non un sostituto.

Dove la separazione non è netta?

Alcuni casi richiedono attenzione:

Google AI Overviews e la modalità IA attingono all'indice di Search costruito da Googlebot, quindi Google-Extended non ti toglie da lì. La guida di Search Console aggiunge che Google-Extended limita l'addestramento dei modelli alla base delle funzioni di IA generativa di Search, un ambito che la documentazione del suo crawler non menziona. Google offre ora un'impostazione separata in Search Console per escludere un sito da AI Overviews e dalla modalità IA.
OpenAI dice che, se un sito consente sia GPTBot sia OAI-SearchBot, può usare i risultati di una sola scansione per entrambi gli scopi. È il divieto di GPTBot a segnalare che i contenuti non devono essere usati per l'addestramento.
Le esclusioni valgono per il futuro. Anthropic, per esempio, descrive il divieto di ClaudeBot come l'esclusione dei contenuti futuri del tuo sito dai dataset di addestramento.
I downloader richiesti dall'utente stanno nel mezzo. OpenAI e Perplexity dicono che il robots.txt potrebbe non valere per ChatGPT-User e in genere non vale per Perplexity-User.
I firewall non leggono il robots.txt. Una regola generica di blocco dei bot può fermare i crawler di ricerca che hai consentito. Se applichi il blocco dell'addestramento nel firewall, individua gli agenti di addestramento per nome e verificali con gli intervalli di IP pubblicati.

Come verifico che la separazione funzioni?

Leggi il tuo robots.txt come lo leggerebbe ciascun crawler: trova il gruppo che lo nomina, ripiega su * solo se nessun gruppo lo nomina, e applica la regola corrispondente più lunga. Poi richiedi una pagina con lo user agent di ciascun crawler di ricerca e conferma che riceva un 200 con il contenuto completo, non un 403 o una pagina di verifica.

AISeeWhy fa entrambe le cose per 14 crawler, raggruppati in agenti di addestramento, di ricerca e degli utenti, e segnala l'errore più comune: bloccare un token di ricerca come PerplexityBot o Claude-SearchBot credendo di bloccare l'addestramento.

Domande frequenti

Bloccare GPTBot mi toglie dalle risposte di ChatGPT?

No. OpenAI dice che GPTBot serve all'addestramento e che ogni impostazione del robots.txt è indipendente. La ricerca di ChatGPT usa OAI-SearchBot; finché è consentito e non è bloccato dal tuo firewall, le tue pagine restano idonee.

Bloccare Google-Extended mi toglie dagli AI Overviews?

Non secondo la documentazione di Google. Google dice che Google-Extended non influisce sull'inclusione in Google Search e che gli AI Overviews attingono all'indice di Search. Google offre un controllo separato in Search Console per escludere un sito dagli AI Overviews e dalla modalità IA.

Esiste una sola riga che blocca tutto l'addestramento dell'IA?

No, non esiste una riga standard. Content-Signal: ai-train=no dichiara la preferenza per tutti i crawler, ma se un crawler la rispetta davvero dipende dal gestore. I gruppi con nome per ogni token di addestramento sono il metodo documentato.

Devo bloccare Perplexity per fermare l'addestramento dell'IA?

Perplexity dice che i suoi agenti non vengono usati per raccogliere dati di addestramento. Bloccare PerplexityBot riduce la tua visibilità nei risultati di ricerca di Perplexity senza servire a escluderti dall'addestramento.