Google-CloudVertexBot
Google-CloudVertexBot scansiona i siti su richiesta dei loro proprietari per creare Vertex AI Agents su Google Cloud. Google afferma che le sue regole robots.txt non hanno effetto su Google Search né su altri prodotti. Bloccarlo conta solo se tu o un cliente di Google Cloud usate il tuo sito come fonte di dati di un agente.
Cosa fa
Google afferma che le preferenze di scansione rivolte a Google-CloudVertexBot riguardano le scansioni richieste dai proprietari dei siti per creare Vertex AI Agents. Non ha effetto su Google Search né su altri prodotti Google. Il suo user agent contiene la sottostringa Google-CloudVertexBot.
Nel robots.txt segue le regole per il token Google-CloudVertexBot e, se non ce ne sono, quelle per Googlebot. Google lo elenca tra i suoi crawler comuni, che rispettano sempre il robots.txt durante la scansione automatica.
Token robots.txt
Google-CloudVertexBot
Come consentirlo
User-agent: Google-CloudVertexBot
Allow: /Come bloccarlo
User-agent: Google-CloudVertexBot
Disallow: /Come verificare le visite reali
Google afferma che le stringhe user agent possono essere falsificate e consiglia una verifica DNS in due passaggi. Esegui una ricerca DNS inversa sull'IP richiedente: il nome host deve terminare con googlebot.com, google.com o googleusercontent.com. Poi esegui una ricerca diretta su quel nome host e conferma che restituisca lo stesso IP. Google pubblica anche in JSON gli intervalli IP dei suoi crawler comuni, così puoi confrontare gli indirizzi in modo automatico.