Google-Extended
Google · AI 训练
Google-Extended 是 robots.txt 标识，而不是独立的爬虫。它控制 Google 抓取的内容能否用于训练未来的 Gemini 模型，以及在 Gemini 应用和 Vertex AI 中用作依据。Google 表示它不影响网站被收录到 Google 搜索。
它的作用
Google-Extended 没有自己的 user agent。抓取由 Google 现有的 user agent 完成，Google-Extended 标识起控制作用：它告知 Google，已抓取的内容能否用于训练未来几代 Gemini 模型，以及在 Gemini 应用和 Vertex AI 中用作依据。
Google 声明，Google-Extended 不影响网站被收录到 Google 搜索。搜索中的 AI 功能（如 AI Overviews）由 Googlebot 规则和摘要控制项管理，而不是由这个标识管理。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，18.1% 屏蔽了它。 →
robots.txt 标识
Google-Extended
如何允许
User-agent: Google-Extended
Allow: /如何屏蔽
User-agent: Google-Extended
Disallow: /如何验证真实访问
日志中没有可验证的内容：Google-Extended 从不作为 user agent 出现。其背后的请求来自 Google 的常规爬虫，你可以先做反向 DNS 查询（googlebot.com、google.com 或 googleusercontent.com）再做正向查询来验证，或者与 Google 已公布的 IP 范围比对。