Google-Extended
Google-Extended è un token robots.txt, non un crawler separato. Controlla se i contenuti scansionati da Google possono essere usati per addestrare i futuri modelli Gemini e per il grounding in Gemini Apps e Vertex AI. Google afferma che non influisce sull'inclusione di un sito in Google Search.
Cosa fa
Google-Extended non ha uno user agent proprio. La scansione è svolta con gli user agent già esistenti di Google, e il token Google-Extended ha una funzione di controllo: indica a Google se i contenuti scansionati possono essere usati per addestrare le future generazioni di modelli Gemini e per il grounding in Gemini Apps e Vertex AI.
Google dichiara che Google-Extended non influisce sull'inclusione di un sito in Google Search. Le funzioni AI di Google in Search, come AI Overviews, sono regolate dalle regole di Googlebot e dai controlli sugli snippet, non da questo token.
Nel nostro studio di 2026-11, 18.1% dei siti popolari con un robots.txt lo bloccava. →
Token robots.txt
Google-Extended
Come consentirlo
User-agent: Google-Extended
Allow: /Come bloccarlo
User-agent: Google-Extended
Disallow: /Come verificare le visite reali
Nei tuoi log non c'è nulla da verificare: Google-Extended non compare mai come user agent. Le richieste che ne stanno alla base provengono dai normali crawler di Google, che puoi verificare con una ricerca DNS inversa (googlebot.com, google.com o googleusercontent.com) seguita da una ricerca diretta, oppure confrontandoli con gli intervalli IP pubblicati da Google.
Controlla se il tuo sito lo lascia entrare →
robots.txt per i crawler di IA: cosa consentire, cosa bloccare →