Googlebot

Google · Motore di ricerca

Googlebot è il crawler principale di Google per costruire i suoi indici di ricerca. Google afferma che le regole robots.txt per Googlebot sono il controllo di come un sito viene scansionato per Search, incluse le funzioni AI come AI Overviews e AI Mode. Bloccarlo rimuove le tue pagine da Google Search e da quelle risposte AI.

Cosa fa

Googlebot serve a trovare informazioni per costruire gli indici di ricerca di Google. Le preferenze di scansione rivolte al token Googlebot influiscono su Google Search e su prodotti come Google Immagini, Video, Google News e Discover. Funziona sia come crawler per smartphone sia come crawler desktop; entrambi seguono le stesse regole di Googlebot, e Google afferma che i suoi crawler comuni rispettano sempre il robots.txt durante la scansione automatica.

La documentazione di Google sulle funzioni AI descrive le regole di Googlebot come il controllo per Search, incluse AI Overviews e AI Mode, e rimanda a nosnippet, data-nosnippet, max-snippet e noindex per limitare ciò che viene mostrato. L'uso per l'addestramento di Gemini è controllato separatamente da Google-Extended.

Nel nostro studio di 2026-11, 2.7% dei siti popolari con un robots.txt lo bloccava. →

Token robots.txt

Googlebot

Stringa user agent

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Come consentirlo

User-agent: Googlebot
Allow: /

Come bloccarlo

User-agent: Googlebot
Disallow: /

Come verificare le visite reali

Google afferma che le stringhe user agent possono essere falsificate e consiglia una verifica DNS in due passaggi. Esegui una ricerca DNS inversa sull'IP richiedente: il nome host deve terminare con googlebot.com, google.com o googleusercontent.com. Poi esegui una ricerca diretta su quel nome host e conferma che restituisca lo stesso IP. Google pubblica anche in JSON gli intervalli IP dei suoi crawler comuni, così puoi confrontare gli indirizzi in modo automatico.

Controlla se il tuo sito lo lascia entrare →

AEO e SEO: cosa è uguale e cosa cambia per le risposte dell'IA →