AISeeWhy
ZH
开始免费试用

屏蔽 Google-Extended 会让你退出 AI Overviews 和 AI Mode 吗？

发布于

简短回答

根据 Google 的文档，不会。Google-Extended 控制你的内容是否用于 Gemini 模型训练，以及用于 Gemini Apps 和 Vertex AI 中的 grounding。AI Overviews 和 AI Mode 使用 Googlebot 为 Search 抓取的页面。要限制它们，Google 指向摘要控制、noindex，以及 Search Console 中将网站排除在这些功能之外的设置。

Google-Extended 常被描述为让网站远离 Google AI 的办法。这只说对了一部分，而这个落差在两个方向上都造成了困惑：有些网站屏蔽它是想从 AI Overviews 中消失，结果没有任何变化；另一些网站则因担心损失搜索流量而避开它。Google 自己的文档对每项控制的作用说得相当具体。下面是文档中的说法、各页面不完全一致的地方，以及你应该在自己的网站上检查什么。

本页内容
  1. 什么是 Google-Extended？
  2. 屏蔽 Google-Extended 会影响 AI Overviews 或 AI Mode 吗？
  3. 什么决定你是否出现在 AI Overviews 和 AI Mode 中？
  4. 如果我改为屏蔽 Googlebot 会怎样？
  5. 如何检查 Google 在我的网站上看到了什么？
  6. 在哪里可以看到 AI Overviews 的流量？

什么是 Google-Extended？

Google 将 Google-Extended 描述为发布者可以在 robots.txt 中使用的独立产品 token。它没有自己的爬虫，也没有自己的 user agent 字符串；页面由 Google 现有的爬虫获取，而这个 token 控制该内容可以如何使用。

根据 Google 的爬虫文档，它涵盖两种用途：训练为 Gemini Apps 和 Gemini 的 Vertex AI API 提供支持的未来几代 Gemini 模型；以及 grounding，即在提示时把来自 Google Search 索引的内容提供给模型，用于 Gemini Apps 和 Vertex AI 上的 Grounding with Google Search。同一页面还表示，Google-Extended 不影响网站在 Google Search 中的收录，也不用作排名信号。

User-agent: Google-Extended
Disallow: /

屏蔽 Google-Extended 会影响 AI Overviews 或 AI Mode 吗？

Google 的文档没有把 AI Overviews 或 AI Mode 列在 Google-Extended 所控制的用途中。Google 的 AI 功能指南表示，只要页面已被编入索引，并且有资格在 Google Search 中以摘要形式显示，就有资格作为支持链接出现在 AI Overviews 或 AI Mode 中，没有额外的技术要求。指南指出，控制 Search 中抓取的是针对 Googlebot 的 robots.txt 规则，而不是 Google-Extended。

因此，按照 Google 的描述，一个 Googlebot 可以抓取并编入索引、且可以显示摘要的页面，即使 Google-Extended 被禁止，仍可能出现在 AI Overviews 和 AI Mode 中。

有一个细微之处值得明确说明。Google 的 Search Console 帮助页面在介绍其较新的 AI 控制时表示，要限制用于在 Search 的生成式 AI 功能中生成回答的模型的训练，应使用 Google-Extended。而 Google 关于该 token 的爬虫文档只提到 Gemini Apps 和 Vertex AI。两个页面对范围的描述不同。两者都没有说屏蔽该 token 会让网站退出 AI Overviews。

什么决定你是否出现在 AI Overviews 和 AI Mode 中？

Google 记载了以下控制，从范围最窄的到最宽的：

Google 还表示，要出现在 AI Overviews 或 AI Mode 中，不需要特殊的 schema.org 标记或其他优化。

如果我改为屏蔽 Googlebot 会怎样？

屏蔽 Googlebot 是最生硬的做法。Google 表示，针对它设置的抓取偏好会影响 Google Search，包括 Discover 和所有 Search 功能。禁止 Googlebot 的网站会失去正常的搜索结果，同时也失去在 AI Overviews 和 AI Mode 中的引用。

很少有大型网站这样做。在我们对最受欢迎的 1,000 个域名的 robots.txt 所做的研究中，在有 robots.txt 的 518 个网站里，有 94 个（18.1%）对 Google-Extended 禁止了首页，而对 Googlebot 这样做的只有 14 个（2.7%）。该研究只涵盖针对首页的 robots.txt 规则，也无法显示这些网站原本期望这条规则起到什么作用。

如何检查 Google 在我的网站上看到了什么？

如果你的页面没有出现在 AI Overviews 或 AI Mode 中，请按排查普通搜索结果时相同的链条逐项检查：

即使所有检查都通过，Google 仍会为每个查询决定显示哪些页面。有资格出现并不等于一定会被显示。

在哪里可以看到 AI Overviews 的流量？

Google 表示，出现在 AI 功能中的网站所产生的流量，包含在 Search Console 的“效果”报告中的总体搜索流量里。随着 2026 年新控制的推出，Google 还宣布了 Search Console 中的生成式 AI 数据洞察，可显示展示次数以及哪些页面出现在 AI 回答中，并表示后续会增加更多指标。你无法在服务器日志中看到 Google-Extended，因为它没有自己的 user agent。

AISeeWhy 会检查你的 robots.txt 对 Googlebot 和 Google-Extended 的设置，测试 Google 的爬虫拿到的页面是否与浏览器相同，并报告可能让页面无法出现在 AI Overviews 和 AI Mode 中的 nosnippet 与 noindex 规则。

常见问题

屏蔽 Google-Extended 会损害我在 Google 的排名吗？

Google 表示 Google-Extended 不影响在 Google Search 中的收录，也不用作排名信号。

如何让网站退出 AI Overviews，但仍保留在 Google Search 中？

Google 在 Search Console 中提供了 Search generative AI 设置，可将网站排除在 AI Overviews、AI Mode 和 Discover 的生成式 AI 功能之外，而不影响 Search 的其余部分。nosnippet 和 max-snippet 也能限制用作直接输入，但它们同时会改变常规摘要。

Search Console 的 AI 设置能阻止 AI 训练吗？

不能。Google 的帮助页面表示，该设置不涵盖训练，并指向 Google-Extended 来处理训练。

要出现在 AI Overviews 中，需要特殊标记吗？

Google 表示没有额外要求，也不需要特殊的 schema.org 结构化数据。页面必须已被编入索引，并且有资格显示摘要。

Google-Extended 是我可以在防火墙中屏蔽的爬虫吗？

不是。它没有自己的 user agent，所以防火墙看不到它。它只能作为 robots.txt token 起作用。在防火墙中屏蔽 Google 实际的爬虫会影响 Search。

参考资料

更多文章