Google-CloudVertexBot
Google · 用户请求的抓取
Google-CloudVertexBot 应网站所有者的请求抓取网站，用于在 Google Cloud 上构建 Vertex AI Agents。Google 表示，针对它的 robots.txt 规则不会影响 Google 搜索或其他产品。只有当你或某位 Google Cloud 客户把你的网站用作代理的数据源时，屏蔽它才有意义。
它的作用
Google 表示，针对 Google-CloudVertexBot 设置的抓取偏好，影响的是网站所有者为构建 Vertex AI Agents 而请求的抓取。它不影响 Google 搜索或 Google 的其他产品。其 user agent 包含子串 Google-CloudVertexBot。
在 robots.txt 中，它遵循 Google-CloudVertexBot 标识的规则，若没有，则遵循 Googlebot 的规则。Google 将其列为常用爬虫之一，这类爬虫在自动抓取时始终遵守 robots.txt。
robots.txt 标识
Google-CloudVertexBot
如何允许
User-agent: Google-CloudVertexBot
Allow: /如何屏蔽
User-agent: Google-CloudVertexBot
Disallow: /如何验证真实访问
Google 指出 user agent 字符串可以被伪造，并建议进行两步 DNS 检查。先对请求的 IP 做反向 DNS 查询：主机名应以 googlebot.com、google.com 或 googleusercontent.com 结尾。再对该主机名做正向查询，确认返回的是同一个 IP。Google 还以 JSON 形式公布其常用爬虫的 IP 范围，因此可以自动比对地址。