GPTBot

OpenAI · Addestramento AI

GPTBot è il crawler di OpenAI per i contenuti che possono essere usati per addestrare i suoi modelli di base di AI generativa. Vietarlo nel robots.txt indica a OpenAI di non usare i tuoi contenuti per l'addestramento. Bloccarlo non ti toglie dalle risposte della ricerca di ChatGPT, che dipendono da OAI-SearchBot.

Cosa fa

OpenAI afferma che GPTBot serve a rendere i suoi modelli di base di AI generativa più utili e sicuri. Scansiona contenuti che possono essere usati per addestrare quei modelli, e vietare GPTBot indica che i contenuti di un sito non devono essere usati per l'addestramento.

Consentirlo è una decisione di policy, non di visibilità. La ricerca di ChatGPT usa un crawler separato, OAI-SearchBot, e OpenAI documenta le due impostazioni come indipendenti. Quando sono entrambe consentite, OpenAI afferma di poter usare i risultati di una scansione per entrambi gli scopi, per evitare di scansionare due volte.

Nel nostro studio di 2026-11, 21.4% dei siti popolari con un robots.txt lo bloccava. →

Token robots.txt

GPTBot

Stringa user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

Come consentirlo

User-agent: GPTBot
Allow: /

Come bloccarlo

User-agent: GPTBot
Disallow: /

Come verificare le visite reali

OpenAI pubblica come file JSON gli intervalli IP usati da questo agente. Confronta l'IP di origine della richiesta con quegli intervalli: una richiesta che dichiara GPTBot ma proviene da un altro indirizzo non è di OpenAI. OpenAI segnala che il numero di versione nello user agent può cambiare, quindi cerca il token GPTBot anziché la stringa completa.

Controlla se il tuo sito lo lascia entrare →

I crawler di OpenAI spiegati: GPTBot, OAI-SearchBot e ChatGPT-User →