Google-Extended
Google · AI 訓練
Google-Extended 是 robots.txt 標記,而不是獨立的爬蟲。它控制 Google 擷取的內容能否用於訓練未來的 Gemini 模型,以及在 Gemini 應用程式與 Vertex AI 中作為依據(grounding)。Google 表示它不會影響網站是否收錄於 Google 搜尋。
它的作用
Google-Extended 沒有自己的 user agent。擷取是由 Google 現有的 user agent 完成,Google-Extended 標記則發揮控制作用:它告知 Google,已擷取的內容能否用於訓練未來幾代的 Gemini 模型,以及在 Gemini 應用程式與 Vertex AI 中作為依據(grounding)。
Google 表示,Google-Extended 不會影響網站是否收錄於 Google 搜尋。搜尋中的 AI 功能(例如 AI Overviews)受 Googlebot 規則與摘要控制項管理,而不是由這個標記管理。
在我們 2026-11 的研究中,設有 robots.txt 的熱門網站裡有 18.1% 封鎖了它。 →
robots.txt 標記
Google-Extended
如何允許
User-agent: Google-Extended
Allow: /
如何封鎖
User-agent: Google-Extended
Disallow: /
如何驗證真實造訪
記錄中沒有可驗證的項目:Google-Extended 從不以 user agent 的形式出現。背後的請求來自 Google 的一般爬蟲,你可以先進行反向 DNS 查詢(googlebot.com、google.com 或 googleusercontent.com)再進行正向查詢來驗證,或與 Google 公布的 IP 範圍比對。