Google-CloudVertexBot
Google-CloudVertexBot rastreja llocs a petició dels seus propietaris per crear Vertex AI Agents a Google Cloud. Google diu que les seves regles de robots.txt no tenen cap efecte a la Cerca de Google ni a altres productes. Bloquejar-lo només importa si tu o un client de Google Cloud feu servir el teu lloc com a font de dades d'un agent.
Com permetre'l
User-agent: Google-CloudVertexBot
Allow: / Com bloquejar-lo
User-agent: Google-CloudVertexBot
Disallow: / Què fa
Google diu que les preferències de rastreig adreçades a Google-CloudVertexBot afecten els rastrejos que demanen els propietaris dels llocs per crear Vertex AI Agents. No té cap efecte a la Cerca de Google ni a altres productes de Google. El seu user agent conté la subcadena Google-CloudVertexBot.
A robots.txt segueix les regles del token Google-CloudVertexBot i, si no n'hi ha, les de Googlebot. Google l'inclou entre els seus rastrejadors comuns, que sempre respecten robots.txt quan rastregen automàticament.
Token de robots.txt
Google-CloudVertexBot
Com verificar les visites reals
Google diu que les cadenes de user agent es poden falsificar i recomana una comprovació DNS en dos passos. Fes una consulta DNS inversa de la IP que fa la petició: el nom de host ha d'acabar en googlebot.com, google.com o googleusercontent.com. Després fes una consulta directa d'aquest nom de host i confirma que retorna la mateixa IP. Google també publica en JSON els rangs d'IP dels seus rastrejadors comuns, perquè puguis comparar les adreces automàticament.