AISeeWhy
IT
Prova gratuita

I crawler di OpenAI spiegati: GPTBot, OAI-SearchBot e ChatGPT-User

Pubblicato

Risposta breve

OpenAI usa GPTBot per raccogliere contenuti che possono addestrare i suoi modelli, OAI-SearchBot per indicizzare le pagine della ricerca di ChatGPT e ChatGPT-User per le visite richieste da una persona. Bloccare GPTBot ti esclude solo dall'addestramento. Bloccare OAI-SearchBot ti toglie dalle risposte di ricerca di ChatGPT. Il robots.txt potrebbe non valere per ChatGPT-User.

Tre user agent diversi della stessa azienda, ciascuno con il proprio token del robots.txt, creano molta confusione. Molti siti hanno bloccato GPTBot quando è comparso, e alcuni hanno scoperto più tardi di aver bloccato anche il crawler che decide se ChatGPT può citarli, spesso a causa di una regola del firewall troppo ampia. Questo articolo passa in rassegna ogni agente usando la documentazione di OpenAI.

In questa pagina
  1. Che cosa fa GPTBot?
  2. Che cosa fa OAI-SearchBot?
  3. Che cosa fa ChatGPT-User?
  4. Che cosa succede se blocco ciascuno di loro?
  5. Quale robots.txt devo usare per i crawler di OpenAI?
  6. Come verifico che il firewall li lasci passare?

Che cosa fa GPTBot?

GPTBot scansiona contenuti che possono essere usati per addestrare i modelli di base di IA generativa di OpenAI. La documentazione di OpenAI dice che vietare GPTBot indica che i contenuti di un sito non devono essere usati per addestrare quei modelli.

Il suo user agent contiene il token GPTBot, per esempio Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI osserva che il numero di versione può cambiare, quindi confronta il token, non la stringa completa. OpenAI pubblica i suoi intervalli di IP su openai.com/gptbot.json.

Consentirlo o no è una decisione di principio. Alcuni editori vogliono i propri contenuti nei dati di addestramento, altri no. Bloccarlo non influisce sulla ricerca di ChatGPT, perché quella usa un altro crawler. Se in seguito cambi idea, basta togliere la riga Disallow; non c'è nulla da registrare o richiedere.

Che cosa fa OAI-SearchBot?

OAI-SearchBot è il crawler di ricerca di OpenAI. Fa comparire i siti web nelle funzioni di ricerca di ChatGPT. OpenAI afferma chiaramente che i siti che hanno escluso OAI-SearchBot non verranno mostrati nelle risposte di ricerca di ChatGPT.

Se vuoi che ChatGPT citi le tue pagine, questo è il crawler da consentire, sia nel robots.txt sia nel firewall. I suoi intervalli di IP sono pubblicati su openai.com/searchbot.json, il che permette a un firewall di verificare che una richiesta provenga davvero da OpenAI.

Che cosa fa ChatGPT-User?

ChatGPT-User non è un crawler nel senso abituale. Scarica una pagina quando un utente di ChatGPT o un GPT personalizzato lo chiede, per esempio quando qualcuno incolla il tuo URL in una chat e chiede un riassunto. OpenAI dice che non viene usato per scansionare il web in modo automatico.

Due dettagli della documentazione di OpenAI contano qui. Primo, poiché queste azioni sono avviate da un utente, le regole del robots.txt potrebbero non valere. Secondo, ChatGPT-User non viene usato per stabilire se un contenuto può comparire nella ricerca. Per la ricerca, l'impostazione che conta è OAI-SearchBot.

Che cosa succede se blocco ciascuno di loro?

OpenAI osserva anche che, quando sia GPTBot sia OAI-SearchBot sono consentiti, può usare i risultati di una singola scansione per entrambi gli scopi per evitare di scansionare due volte.

Quale robots.txt devo usare per i crawler di OpenAI?

Per la maggior parte dei siti che vogliono comparire nelle risposte di ChatGPT, consenti il crawler di ricerca e decidi separatamente sull'addestramento. Questo file consente la ricerca ed esclude l'addestramento:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Tieni presente un dettaglio della RFC 9309: un crawler segue il gruppo che lo nomina e ignora il gruppo *. Nell'esempio sopra, OAI-SearchBot potrebbe entrare in /admin/, perché il suo gruppo non contiene una riga Disallow: /admin/. Ripeti in ogni gruppo con nome i percorsi che vuoi mantenere privati. OpenAI dice che le modifiche per la ricerca possono richiedere circa 24 ore per essere applicate.

Come verifico che il firewall li lasci passare?

Il robots.txt si limita a dichiarare la tua politica. È il firewall o la CDN a decidere che cosa riceve davvero ogni richiesta. Richiedi una pagina con lo user agent di ciascun crawler e confronta codice di stato e dimensione del corpo con una richiesta da browser. Un 403, un 429 o una pagina di verifica per il crawler, con una pagina normale per il browser, significa che il firewall prevale sul tuo robots.txt.

AISeeWhy esegue questo confronto per tutti e tre gli agenti di OpenAI insieme, classifica come P1 i blocchi di OAI-SearchBot e ChatGPT-User perché costano citazioni, e riporta un GPTBot bloccato come scelta di principio di livello P3, non come errore.

Domande frequenti

GPTBot è la stessa cosa di ChatGPT?

No. GPTBot è un crawler per i dati di addestramento. La ricerca di ChatGPT usa OAI-SearchBot, e le visite in tempo reale richieste dagli utenti arrivano da ChatGPT-User.

Posso consentire la ricerca di ChatGPT ma bloccare l'addestramento?

Sì. Consenti OAI-SearchBot e vieta GPTBot nel robots.txt. OpenAI documenta le due impostazioni come indipendenti.

Devo bloccare OpenAI per indirizzo IP?

Bloccare per IP impedisce al crawler di leggere il tuo robots.txt e rende più difficile cambiare la tua politica. Di solito è meglio dichiarare la politica nel robots.txt e usare gli intervalli di IP pubblicati per verificare i crawler di OpenAI, non per bloccarli.

Perché confrontare il token e non lo user agent completo?

OpenAI dice che il numero di versione nei suoi user agent può cambiare e che le stringhe di esempio pubblicate differiscono da un crawler all'altro. Le regole che cercano GPTBot o OAI-SearchBot continuano a funzionare dopo un aggiornamento; quelle che cercano la stringa esatta possono smettere di corrispondere senza che nessuno se ne accorga.

Fonti

Altri articoli