Google-CloudVertexBot
Google-CloudVertexBot rastrea sitios a petición de sus propietarios para crear agentes de Vertex AI en Google Cloud. Google dice que sus reglas de robots.txt no tienen efecto en la Búsqueda de Google ni en otros productos. Bloquearlo solo importa si usted o un cliente de Google Cloud usan su sitio como fuente de datos de un agente.
Qué hace
Google dice que las preferencias de rastreo dirigidas a Google-CloudVertexBot afectan a los rastreos solicitados por los propietarios de sitios para crear agentes de Vertex AI. No tiene efecto en la Búsqueda de Google ni en otros productos de Google. Su user agent contiene la subcadena Google-CloudVertexBot.
En robots.txt sigue las reglas del token Google-CloudVertexBot y, si no las hay, las de Googlebot. Google lo incluye entre sus rastreadores comunes, que siempre obedecen robots.txt cuando rastrean de forma automática.
Token de robots.txt
Google-CloudVertexBot
Cómo permitirlo
User-agent: Google-CloudVertexBot
Allow: /Cómo bloquearlo
User-agent: Google-CloudVertexBot
Disallow: /Cómo verificar las visitas reales
Google indica que las cadenas de user agent pueden falsificarse y recomienda una comprobación DNS en dos pasos. Haga una búsqueda DNS inversa de la IP que realiza la solicitud: el nombre de host debe terminar en googlebot.com, google.com o googleusercontent.com. Después haga una búsqueda directa de ese nombre de host y confirme que devuelve la misma IP. Google también publica en JSON los rangos de IP de sus rastreadores comunes, de modo que puede comparar las direcciones automáticamente.