Google-Extended

Google · AI 訓練

Google-Extended 是 robots.txt 標記,而不是獨立的爬蟲。它控制 Google 擷取的內容能否用於訓練未來的 Gemini 模型,以及在 Gemini 應用程式與 Vertex AI 中作為依據(grounding)。Google 表示它不會影響網站是否收錄於 Google 搜尋。

它的作用

Google-Extended 沒有自己的 user agent。擷取是由 Google 現有的 user agent 完成,Google-Extended 標記則發揮控制作用:它告知 Google,已擷取的內容能否用於訓練未來幾代的 Gemini 模型,以及在 Gemini 應用程式與 Vertex AI 中作為依據(grounding)。

Google 表示,Google-Extended 不會影響網站是否收錄於 Google 搜尋。搜尋中的 AI 功能(例如 AI Overviews)受 Googlebot 規則與摘要控制項管理,而不是由這個標記管理。

在我們 2026-11 的研究中,設有 robots.txt 的熱門網站裡有 18.1% 封鎖了它。 →

robots.txt 標記

Google-Extended

如何允許

User-agent: Google-Extended
Allow: /

如何封鎖

User-agent: Google-Extended
Disallow: /

如何驗證真實造訪

記錄中沒有可驗證的項目:Google-Extended 從不以 user agent 的形式出現。背後的請求來自 Google 的一般爬蟲,你可以先進行反向 DNS 查詢(googlebot.com、google.com 或 googleusercontent.com)再進行正向查詢來驗證,或與 Google 公布的 IP 範圍比對。

檢查你的網站是否允許它進入 →

AI 爬蟲的 robots.txt:該允許什麼、該封鎖什麼 →