Google-CloudVertexBot
Google-CloudVertexBot explore des sites à la demande de leurs propriétaires pour créer des agents Vertex AI sur Google Cloud. Google indique que ses règles robots.txt n'ont aucun effet sur la recherche Google ni sur d'autres produits. Le bloquer n'a d'importance que si vous, ou un client de Google Cloud, utilisez votre site comme source de données d'un agent.
Ce qu'il fait
Google indique que les préférences d'exploration adressées à Google-CloudVertexBot concernent les explorations demandées par les propriétaires de sites pour créer des agents Vertex AI. Il n'a aucun effet sur la recherche Google ni sur d'autres produits Google. Son user agent contient la sous-chaîne Google-CloudVertexBot.
Dans robots.txt, il suit les règles du jeton Google-CloudVertexBot et, à défaut, celles de Googlebot. Google le range parmi ses robots courants, qui obéissent toujours à robots.txt lors d'une exploration automatique.
Jeton robots.txt
Google-CloudVertexBot
Comment l'autoriser
User-agent: Google-CloudVertexBot
Allow: /Comment le bloquer
User-agent: Google-CloudVertexBot
Disallow: /Comment vérifier les visites réelles
Google indique que les chaînes user agent peuvent être usurpées et recommande une vérification DNS en deux étapes. Effectuez une recherche DNS inverse sur l'IP à l'origine de la requête : le nom d'hôte doit se terminer par googlebot.com, google.com ou googleusercontent.com. Effectuez ensuite une recherche directe sur ce nom d'hôte et vérifiez qu'elle renvoie la même IP. Google publie aussi au format JSON les plages d'IP de ses robots courants, ce qui permet de comparer les adresses automatiquement.