Google-CloudVertexBot
O Google-CloudVertexBot rastreia sites a pedido dos proprietários para criar Vertex AI Agents no Google Cloud. O Google diz que as regras do robots.txt para ele não afetam a Pesquisa Google nem outros produtos. Bloqueá-lo só importa se você ou um cliente do Google Cloud usa seu site como fonte de dados de um agente.
O que ele faz
O Google diz que as preferências de rastreamento dirigidas ao Google-CloudVertexBot afetam rastreamentos pedidos por proprietários de sites para criar Vertex AI Agents. Elas não afetam a Pesquisa Google nem outros produtos do Google. Seu user agent contém a substring Google-CloudVertexBot.
No robots.txt, ele segue as regras do token Google-CloudVertexBot e, se não houver, as regras do Googlebot. O Google o inclui entre seus crawlers comuns, que sempre obedecem ao robots.txt no rastreamento automático.
Token do robots.txt
Google-CloudVertexBot
Como permitir
User-agent: Google-CloudVertexBot
Allow: /Como bloquear
User-agent: Google-CloudVertexBot
Disallow: /Como verificar visitas reais
O Google diz que strings de user agent podem ser falsificadas e recomenda uma verificação de DNS em duas etapas. Faça uma consulta de DNS reverso no IP da requisição: o nome do host deve terminar em googlebot.com, google.com ou googleusercontent.com. Depois faça uma consulta direta nesse nome de host e confirme que ela retorna o mesmo IP. O Google também publica as faixas de IP de seus crawlers comuns em JSON, para você comparar endereços automaticamente.