Google-CloudVertexBot
Google · 使用者要求的擷取
Google-CloudVertexBot 應網站擁有者的要求擷取網站，用於在 Google Cloud 上建構 Vertex AI Agents。Google 表示，針對它的 robots.txt 規則不會影響 Google 搜尋或其他產品。只有當你或某位 Google Cloud 客戶將你的網站用作代理的資料來源時，封鎖它才有意義。
它的作用
Google 表示，針對 Google-CloudVertexBot 設定的擷取偏好，影響的是網站擁有者為建構 Vertex AI Agents 而要求的擷取。它不會影響 Google 搜尋或其他 Google 產品。其 user agent 含有子字串 Google-CloudVertexBot。
在 robots.txt 中，它遵循 Google-CloudVertexBot 標記的規則；若沒有這類規則，則遵循 Googlebot 的規則。Google 將它列為常用爬蟲之一，這類爬蟲在自動擷取時一律遵守 robots.txt。
robots.txt 標記
Google-CloudVertexBot
如何允許
User-agent: Google-CloudVertexBot
Allow: /如何封鎖
User-agent: Google-CloudVertexBot
Disallow: /如何驗證真實造訪
Google 指出 user agent 字串可能遭到偽造，並建議進行兩步驟的 DNS 檢查。先對發出請求的 IP 進行反向 DNS 查詢：主機名稱應以 googlebot.com、google.com 或 googleusercontent.com 結尾。再對該主機名稱進行正向查詢，確認傳回的是同一個 IP。Google 也以 JSON 格式公布其常用爬蟲的 IP 範圍，因此你可以自動比對位址。