Gemini vede il mio sito? Come verificarlo

Pubblicato · Aggiornato

Risposta breve

Gemini può usare la tua pagina in una risposta con grounding solo se la pagina è nell'indice di Google Search e il tuo robots.txt non blocca il token Google-Extended. Google dice che il grounding nell'app Gemini fornisce al modello contenuti dell'indice di Google Search e che Google-Extended controlla se i tuoi contenuti possono essere usati a questo scopo. Quindi verifica l'indicizzazione in Search Console, controlla il robots.txt per Googlebot e Google-Extended, poi fai a Gemini le domande dei tuoi clienti e apri le fonti.

Gemini non ha un crawler da cercare nei log come succede con altri assistenti. Google scansiona con i suoi crawler esistenti e un token del robots.txt decide cosa può fare Gemini con i contenuti. Per questo il controllo è diverso: gran parte avviene in Google Search Console e nel tuo robots.txt, e l'ultimo passaggio in Gemini stesso.

In questa pagina
  1. Il controllo di 5 minuti, passo per passo
  2. Come ottiene Gemini le informazioni dai siti web?
  3. Come verifico se Google ha indicizzato la mia pagina?
  4. Google-Extended impedisce a Gemini di usare il mio sito?
  5. Un firewall può bloccare Google mentre i browser passano?
  6. Come vedo se Gemini usa o cita il mio sito?
  7. AI Overviews, modalità IA e regole sugli snippet influiscono su Gemini?
  8. Come lo verifica AISeeWhy?

Il controllo di 5 minuti, passo per passo

  1. Cerca su Google site: seguito dall'indirizzo della pagina, oppure usa il Controllo URL in Search Console, per confermare che la pagina è nell'indice di Google.
  2. Apri il tuo robots.txt e verifica che Googlebot possa recuperare la pagina e che Google-Extended non sia vietato, a meno che tu non abbia scelto di escluderti.
  3. Esegui un controllo gratuito della pagina su AISeeWhy o invia una richiesta con lo user agent Googlebot: deve ricevere lo stato 200 e lo stesso testo di un browser.
  4. Fai a Gemini una domanda a cui la tua pagina risponde e apri le fonti che mostra sotto la risposta.

Se la pagina non è indicizzata, il grounding di Gemini non può usarla, quindi inizia dal passaggio 1. Le sezioni seguenti spiegano ogni passaggio e cosa fare se non va a buon fine.

Come ottiene Gemini le informazioni dai siti web?

Il Gemini Apps Privacy Hub di Google dice che alcune risposte di Gemini si basano (grounding) sui risultati di Search. La documentazione di Google sui crawler definisce il grounding come la fornitura al modello, al momento del prompt, di contenuti dell'indice di Google Search per migliorarne accuratezza e pertinenza. La stessa pagina dice che Google-Extended controlla se i contenuti scansionati da Google possono essere usati per addestrare i modelli Gemini e per il grounding in Gemini Apps e in Grounding with Google Search su Vertex AI.

Google-Extended non ha una propria stringa user agent. Google dice che la scansione avviene con i suoi user agent esistenti e che il token funziona solo nel robots.txt come controllo. In pratica ci sono due condizioni perché Gemini usi la tua pagina: Google deve averla nel suo indice e il tuo robots.txt non deve bloccarla a Google-Extended.

Google non documenta come Gemini scelga quali pagine indicizzate usare o citare. Soddisfare entrambe le condizioni rende disponibile la tua pagina, ma non garantisce che Gemini la scelga.

Come verifico se Google ha indicizzato la mia pagina?

Usa lo strumento Controllo URL (URL Inspection) di Google Search Console. Per la versione indicizzata mostra:

Test live URL scarica la pagina in tempo reale e View tested page mostra uno screenshot e l'HTML ricevuto da Google. Se lo screenshot è una pagina di verifica o nell'HTML manca il testo principale, Google, e con lui Gemini, non vede i tuoi contenuti. Request indexing chiede a Google di scansionare di nuovo l'URL; Google dice che di solito ci vuole circa un giorno, senza garanzia di indicizzazione.

Google-Extended impedisce a Gemini di usare il mio sito?

Apri il tuo robots.txt e cerca un gruppo che nomini Google-Extended. Un Disallow: / lì dice a Google di non usare le tue pagine per l'addestramento di Gemini né per il grounding in Gemini Apps. Google dice che il token non influisce sull'inclusione in Google Search e non è un segnale di ranking, quindi questo blocco è facile da non notare: il traffico di ricerca sembra normale mentre Gemini non può basare le risposte sulle tue pagine. Il nostro articolo su AI Overviews e Google-Extended spiega cosa controlla il token in Search e cosa no.

Poiché il token non compare mai nelle richieste, non puoi testarlo con curl né trovarlo nei log. Leggere il file è l'unico controllo:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Il confronto non distingue tra maiuscole e minuscole e, se nessun gruppo nomina Google-Extended, gli si applica il gruppo *. Molti siti hanno aggiunto questo blocco quando si è iniziato a parlare di addestramento dell'IA. Nel nostro studio sui 1.000 domini più popolari, 114 dei 518 siti con un robots.txt nominavano Google-Extended e 94 (18,1%) gli bloccavano la home page. Valuta se è ancora ciò che vuoi, visto che il blocco copre anche il grounding.

Un firewall può bloccare Google mentre i browser passano?

Sì. Se una protezione dai bot o un rate limit risponde ai crawler di Google con un 403, un 429 o una pagina di verifica, Google non può scansionare la pagina e col tempo questa può uscire da Search e, con essa, dal grounding di Gemini. Il Controllo URL è il test migliore, perché Google scarica la pagina dai propri indirizzi; un test con curl dal tuo computer mostra solo come le tue regole trattano lo user agent.

Per consentire Google in modo sicuro, verifica il visitatore invece di fidarti del nome. Google documenta una ricerca DNS inversa seguita da una ricerca diretta e pubblica gli intervalli IP dei suoi crawler comuni in common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Sostituisci l'indirizzo di esempio con uno preso dai tuoi log. Se le due ricerche non coincidono, la richiesta si limita a dichiararsi Google.

Come vedo se Gemini usa o cita il mio sito?

Fai a Gemini le domande dei tuoi clienti, senza nominare il tuo sito, e apri le fonti. Il centro assistenza di Google dice che il pulsante Sources compare in fondo a una risposta o nel testo e apre un pannello di link correlati che può includere siti pubblici. Se il pulsante Sources non c'è, Gemini non ha fornito link per quella risposta, e Google precisa che non tutte le risposte li includono. Annota quali domini compaiono e ripeti le stesse domande per qualche settimana.

Gli sviluppatori possono fare lo stesso test tramite la Gemini API con Grounding with Google Search. Google dice che collega il modello a contenuti web in tempo reale e che le risposte con grounding riportano citazioni con URL e titolo di ogni fonte, così puoi verificare se compare il tuo dominio. Le risposte dell'API possono differire da quelle dell'app Gemini.

Alcuni recuperi legati a Gemini arrivano davvero al tuo server. Google elenca fetcher avviati dagli utenti come Google-GeminiNotebook, che richiede gli URL che gli utenti aggiungono come fonti a un progetto Gemini Notebook, e Google-Agent, usato dagli agenti sull'infrastruttura di Google che agiscono su richiesta di un utente. Google dice che questi fetcher in genere ignorano il robots.txt perché è stato un utente a chiedere il recupero. Le loro visite mostrano che le persone aprono le tue pagine tramite quei prodotti; non sono il percorso di grounding descritto sopra.

AI Overviews, modalità IA e regole sugli snippet influiscono su Gemini?

AI Overviews e la modalità IA sono funzioni di Google Search con controlli propri. Google indica nosnippet, data-nosnippet, max-snippet e noindex come modi per limitare ciò che viene mostrato delle tue pagine. La sua documentazione sul meta tag robots dice che nosnippet impedisce anche che i contenuti vengano usati come input diretto per AI Overviews e la modalità IA, e che max-snippet limita quanto se ne può usare. Search Console ha inoltre un'impostazione Search generative AI a livello di sito che può escludere un sito da AI Overviews, dalla modalità IA e dalle funzioni di IA generativa in Discover.

Nessuna di queste pagine menziona l'app Gemini. Non dare per scontato che una regola sugli snippet o l'impostazione di Search Console cambino il grounding di Gemini, o che Google-Extended cambi AI Overviews. noindex è l'eccezione: secondo la definizione di grounding di Google, una pagina fuori dall'indice di Search non può essere usata a quello scopo. Per trovare regole sugli snippet che potresti aver dimenticato, controlla l'HTML e le intestazioni:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

Come lo verifica AISeeWhy?

Il controllo gratuito di AISeeWhy scarica la tua pagina come Googlebot e gli altri crawler di IA e di ricerca accanto a un browser reale, applica il tuo robots.txt a ciascuno, compreso il token Google-Extended, riconosce le pagine di verifica e mostra quanto testo arriva senza JavaScript. Il controllo della visibilità nell'IA, nella prova e nei piani a pagamento, pone le tue domande tramite la Gemini API con il grounding di Google Search usando la tua chiave e mostra se il tuo brand o il tuo dominio viene menzionato o citato. Non interroga AI Overviews né la modalità IA.

Strumenti gratuiti

Prossimi passi

Crawler in questo articolo

Domande frequenti

Posso verificare gratis se Gemini vede il mio sito?

Sì. Search Console, una ricerca site:, il tuo robots.txt e una domanda in Gemini non costano nulla. Il controllo gratuito di AISeeWhy testa Googlebot, la regola Google-Extended e altri 14 crawler per una pagina al giorno.

Gemini ha un proprio crawler?

Non per il grounding. Google dice che Google-Extended non ha una stringa user agent e che la scansione avviene con i suoi crawler esistenti. Fetcher separati avviati dagli utenti, come Google-GeminiNotebook e Google-Agent, visitano le pagine quando un utente lo chiede, e Google dice che in genere ignorano il robots.txt.

Se blocco Google-Extended, Gemini può ancora menzionare il mio brand?

Google dice che non userà i tuoi contenuti per il grounding in Gemini Apps. Questa regola riguarda le tue pagine. Google non dice nulla sui contenuti di altri siti che parlano di te, quindi Gemini può ancora nominare il tuo brand a partire da quelle fonti.

Quanto ci mette una modifica al robots.txt ad arrivare a Gemini?

Google non indica tempi per Gemini. La sua documentazione sul robots.txt dice che Google in genere tiene il file in cache fino a 24 ore, quindi aspetta almeno un giorno prima di ripetere il test, e di più per le pagine che Google riscansiona raramente.

AI Overviews e Gemini usano le stesse fonti?

Google non documenta il rapporto tra i due. Entrambi attingono all'indice di Google, ma hanno controlli diversi: regole sugli snippet e impostazione di Search Console per AI Overviews e la modalità IA, Google-Extended per il grounding di Gemini. Controllali separatamente.

Come monitoro le risposte di Gemini nel tempo?

Tieni un elenco fisso di domande dei clienti, ponile a Gemini a intervalli regolari e annota quali domini compaiono nelle fonti. Il controllo della visibilità nell'IA di AISeeWhy pone le tue domande ogni settimana tramite la Gemini API con il grounding di Google Search e mostra le menzioni accanto a un massimo di quattro concorrenti. I risultati dell'API possono differire dall'app Gemini.

Fonti

Altri articoli