AISeeWhy
IT
Prova gratuita

ChatGPT riesce a vedere il tuo sito? Come verificarlo

Pubblicato

Risposta breve

ChatGPT può citare la tua pagina solo se il crawler di ricerca di OpenAI, OAI-SearchBot, può scaricarla e riceve lo stesso HTML che riceve un browser. Controlla tre cose: il tuo robots.txt non blocca OAI-SearchBot, il tuo firewall o CDN non gli risponde con un 403 o una pagina di verifica, e il testo principale è nell'HTML iniziale.

Molti proprietari di siti chiedono a ChatGPT del proprio prodotto, vedono citato un concorrente e si domandano se ChatGPT riesca davvero a raggiungere il loro sito. La domanda ha una risposta concreta e verificabile. OpenAI pubblica i nomi dei suoi crawler e il compito di ciascuno, quindi puoi controllare ogni anello della catena: le regole del robots.txt, la risposta che invia il tuo server e il contenuto di quella risposta.

In questa pagina
  1. Quali crawler di OpenAI contano per le risposte di ChatGPT?
  2. Come controllo il mio robots.txt per ChatGPT?
  3. Un firewall può bloccare ChatGPT anche se il robots.txt lo permette?
  4. Come posso testare che cosa riceve OAI-SearchBot?
  5. E se la pagina si carica ma ChatGPT continua a non dire nulla di utile?
  6. Come lo verifica AISeeWhy?

Quali crawler di OpenAI contano per le risposte di ChatGPT?

OpenAI documenta tre agenti che i proprietari dei siti incontrano di solito. Hanno compiti diversi, e bloccarne uno non blocca gli altri. OpenAI precisa che ogni impostazione del robots.txt è indipendente.

In breve: OAI-SearchBot controlla le citazioni, GPTBot controlla l'addestramento e ChatGPT-User gestisce le visite in tempo reale su richiesta di un utente.

Come controllo il mio robots.txt per ChatGPT?

Apri https://yourdomain.com/robots.txt in un browser. Cerca un gruppo che nomini OAI-SearchBot. Se non c'è, il crawler segue il gruppo User-agent: *. Un Disallow: / nel gruppo che si applica blocca l'intero sito.

Verifica anche che il file risponda. Secondo la RFC 9309, se il robots.txt restituisce un errore del server (5xx) o non è raggiungibile, un crawler deve presumere che l'intero sito sia vietato. Un 404 va bene: significa che non ci sono regole. Un errore frequente è un indirizzo robots.txt che restituisce una pagina HTML con stato 200, perché i crawler non vi trovano regole valide.

Una configurazione che mantiene la ricerca di ChatGPT ed esclude l'addestramento si presenta così:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI indica che le modifiche per la ricerca possono richiedere circa 24 ore per avere effetto dopo l'aggiornamento del robots.txt.

Un firewall può bloccare ChatGPT anche se il robots.txt lo permette?

Sì, ed è una causa frequente. Il robots.txt è una richiesta rivolta ai crawler corretti, non un controllo degli accessi. Il tuo firewall, la CDN o la protezione dai bot decidono cosa viene davvero restituito. Se trattano un crawler di IA come un bot indesiderato, questo riceve un 403, un 429 o una pagina di verifica come la schermata «Just a moment...» di Cloudflare, mentre le persone con un browser vedono la pagina normalmente.

Dall'esterno sembra un sito aperto a tutti. Solo una richiesta che si identifica come il crawler mostra la differenza. In quel caso il robots.txt dice di sì, il server dice di no, e vince il server.

Come posso testare che cosa riceve OAI-SearchBot?

Invia due richieste allo stesso URL, una con lo user agent di un browser e una con quello del crawler, e confronta codice di stato e dimensione. OpenAI pubblica uno user agent di esempio per ogni crawler; il numero di versione può cambiare.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Se il browser riceve un 200 con un corpo grande e il crawler riceve un 403, 429, 503 o un corpo molto più piccolo, il tuo firewall tratta il crawler in modo diverso. Un limite: il test parte dal tuo indirizzo IP, non da quello di OpenAI. I firewall che verificano i crawler con gli intervalli di IP pubblicati (OpenAI li elenca su openai.com/searchbot.json) possono lasciar passare il vero crawler e bloccare il tuo test. Un blocco in questo test ti dice comunque come il firewall tratta quello user agent, e vale la pena correggerlo.

E se la pagina si carica ma ChatGPT continua a non dire nulla di utile?

L'accesso è solo il primo passo. Se l'HTML che arriva è un guscio vuoto che JavaScript riempie in seguito, il crawler può ricevere pochissimo testo. Guarda l'HTML grezzo con curl o con la visualizzazione del sorgente del browser: se il testo principale non c'è, probabilmente non lo vede nemmeno il crawler.

Dopo vengono i segnali di contenuto: una risposta breve e chiara all'inizio della pagina, titoli che corrispondono alle domande che le persone fanno, un editore e un autore con nome e date visibili. Non garantiscono una citazione, ma rendono la pagina più facile da citare correttamente.

Come lo verifica AISeeWhy?

AISeeWhy scarica la tua pagina come OAI-SearchBot, GPTBot, ChatGPT-User e altri 11 crawler accanto a un normale browser, legge il tuo robots.txt secondo le regole della RFC 9309 e indica il firewall quando risponde con un blocco o una pagina di verifica. Ogni problema rilevato arriva con la correzione da incollare, e il controllo gratuito mostra il tuo punteggio e il primo problema.

Domande frequenti

Bloccare GPTBot mi toglie dalla ricerca di ChatGPT?

No. OpenAI tratta ogni impostazione dei crawler come indipendente. GPTBot riguarda l'addestramento, mentre OAI-SearchBot decide se le pagine possono comparire nelle risposte di ricerca di ChatGPT. Puoi vietare uno e consentire l'altro.

ChatGPT-User rispetta il robots.txt?

OpenAI afferma che, poiché queste visite sono avviate da un utente, le regole del robots.txt potrebbero non valere. Se vuoi fermare quelle visite, una regola nel robots.txt non è un controllo affidabile.

Quanto tempo ci vuole perché una modifica al robots.txt arrivi a ChatGPT?

OpenAI indica che possono servire circa 24 ore dall'aggiornamento del robots.txt perché i suoi sistemi si adeguino per la ricerca.

Essere raggiungibili basta per essere citati?

No. L'accesso rende possibile una citazione, ma non la garantisce. Ciò che dice la pagina, e quanto chiaramente lo dice, continua a decidere se viene usata in una risposta.

Fonti

Altri articoli