Gemini 能看到我的网站吗?检查方法
只有当页面在 Google 搜索索引中,并且你的 robots.txt 没有禁止 Google-Extended 标识时,Gemini 才能在基于搜索的回答(grounding)中使用你的页面。Google 表示,Gemini 应用中的 grounding 会把 Google 搜索索引中的内容提供给模型,而 Google-Extended 控制你的内容能否用于此用途。所以请在 Search Console 中检查索引情况,检查 robots.txt 中针对 Googlebot 和 Google-Extended 的规则,然后向 Gemini 提出你的买家会问的问题并打开它的来源。
Gemini 没有一个可以像其他助手那样在日志中追踪的专属爬虫。Google 用现有的爬虫抓取,而 robots.txt 中的一个标识决定 Gemini 可以如何使用这些内容。因此检查方法也不同:大部分工作在 Google Search Console 和你的 robots.txt 中完成,最后一步则在 Gemini 中进行。
本页内容
5 分钟检查,分步说明
- 在 Google 中搜索
site:加上你的页面地址,或使用 Search Console 中的网址检查,确认该页面已被 Google 编入索引。 - 打开你的 robots.txt,确认
Googlebot可以抓取该页面,并且Google-Extended没有被禁止,除非你选择了退出。 - 在 AISeeWhy 上免费检查该页面,或用
Googlebot的 user agent 发送一个请求:它必须得到状态码 200 以及与浏览器相同的文本。 - 向 Gemini 提一个你的页面能回答的问题,并打开回答下方显示的来源。
如果页面没有被编入索引,Gemini 的事实依据功能就无法使用它,所以请从第 1 步开始。下面的章节会解释每一步,以及未通过时该怎么做。
Gemini 如何从网站获取信息?
Google 的 Gemini 应用隐私中心(Gemini Apps Privacy Hub)表示,Gemini 的部分回答以搜索结果为依据(grounding)。Google 的爬虫文档把 grounding 定义为在提示时向模型提供 Google 搜索索引中的内容,以提高准确性和相关性。同一页面指出,Google-Extended 控制 Google 抓取的内容能否用于训练 Gemini 模型,以及能否用于 Gemini 应用中的 grounding 和 Vertex AI 上的 Grounding with Google Search。
Google-Extended 没有自己的 user agent 字符串。Google 表示抓取由其现有的 user agent 完成,这个标识只在 robots.txt 中作为控制项起作用。实际上,Gemini 使用你的页面需要满足两个条件:Google 已将页面编入索引,并且你的 robots.txt 没有对该页面禁止 Google-Extended。
Google 没有说明 Gemini 如何选择使用或引用哪些已编入索引的页面。满足这两个条件能让你的页面可供使用,但并不保证 Gemini 会选中它。
如何检查 Google 是否已将我的页面编入索引?
使用 Google Search Console 中的网址检查工具(URL Inspection)。对于已编入索引的版本,它会显示:
- 页面是否已编入索引,或者原因,例如“Google 无法识别此网址”。
- 上次抓取日期,以及 Google 是以桌面设备还是移动设备的身份抓取的。
- 页面获取是否成功,以及 robots.txt 是否允许抓取。
- 你声明的规范网址和 Google 选择的规范网址。如果两者不同,Google 会把自己的选择视为该页面的权威版本。
“测试实际网址”会实时获取页面,“查看已测试的网页”会显示屏幕截图和 Google 收到的 HTML。如果截图是验证页面,或者 HTML 缺少正文,Google 以及随之而来的 Gemini 都看不到你的内容。“请求编入索引”会请 Google 重新抓取该网址;Google 表示通常需要大约一天,但不保证一定会编入索引。
Google-Extended 是否在阻止 Gemini 使用我的网站?
打开你的 robots.txt,查找指明 Google-Extended 的规则组。其中的 Disallow: / 告诉 Google 不要把你的页面用于 Gemini 训练,也不要用于 Gemini 应用中的 grounding。Google 表示这个标识不影响页面能否出现在 Google 搜索中,也不是排名信号,所以这种屏蔽很容易被忽视:你的搜索流量看起来一切正常,而 Gemini 却无法以你的页面为依据生成回答。我们另有一篇关于 AI Overviews 和 Google-Extended 的文章,介绍了这个标识在搜索中能控制什么、不能控制什么。
由于这个标识从不出现在请求中,你无法用 curl 测试它,也无法在日志中找到它。阅读文件是唯一的检查方法:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" 匹配不区分大小写;如果没有规则组指明 Google-Extended,则 * 规则组适用于它。许多网站在 AI 训练刚开始被讨论时就加上了这条屏蔽。在我们对访问量最高的 1,000 个域名的研究中,有 robots.txt 的 518 个网站里,114 个指明了 Google-Extended,其中 94 个(18.1%)对它禁止了首页。考虑到它也涵盖 grounding,请判断这是否仍符合你的意愿。
防火墙会在放行浏览器的同时屏蔽 Google 吗?
会。如果机器人防护或速率限制对 Google 的爬虫返回 403、429 或验证页面,Google 就无法抓取该页面,时间一长,页面可能从搜索中消失,随之也会从 Gemini 的 grounding 中消失。网址检查是这里最好的测试,因为 Google 从它自己的地址获取页面;从你的电脑用 curl 测试,只能显示你的规则如何对待该 user agent。
要安全地放行 Google,请验证访问者,而不是相信名称。Google 的文档介绍了先做反向 DNS 查询、再做正向查询的方法,并在 common-crawlers.json 中公布了常见爬虫的 IP 范围:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com 把示例地址换成你日志中的地址。如果两次查询结果不一致,这个请求只是自称来自 Google。
如何查看 Gemini 是否使用或引用了我的网站?
向 Gemini 提出你的买家会问的问题,不要提及你的网站名称,然后打开来源。Google 帮助中心表示,“来源”按钮会出现在回答底部或正文中,点击后会打开一个相关链接面板,其中可能包括公开网站。如果没有“来源”按钮,说明 Gemini 没有为该回答提供链接,Google 也指出并非所有回答都包含链接。记下出现了哪些域名,并在几周内重复提出相同的问题。
开发者可以通过启用 Grounding with Google Search 的 Gemini API 进行同样的测试。Google 表示它会把模型连接到实时的网络内容,基于搜索的回答会附上每个来源的 URL 和标题作为引用,因此你可以检查自己的域名是否出现。API 的回答可能与 Gemini 应用中显示的不同。
有些与 Gemini 相关的获取确实会到达你的服务器。Google 列出了由用户触发的获取工具,例如 Google-GeminiNotebook,它会请求用户作为来源添加到 Gemini Notebook 项目中的 URL;还有 Google-Agent,由运行在 Google 基础设施上、代表用户执行请求的代理使用。Google 表示,由于获取是用户要求的,这些工具通常会忽略 robots.txt。它们的访问说明有人通过这些产品打开了你的页面;它们并不是上文所述的 grounding 途径。
AI Overviews、AI Mode 和摘要规则会影响 Gemini 吗?
AI Overviews 和 AI Mode 是 Google 搜索的功能,有各自的控制方式。Google 列出了 nosnippet、data-nosnippet、max-snippet 和 noindex,作为限制页面展示内容的方法。其 robots meta 标签文档表示,nosnippet 还会阻止内容被直接用作 AI Overviews 和 AI Mode 的输入,max-snippet 则限制可使用的内容量。Search Console 还提供一个全站范围的搜索生成式 AI 设置,可以让网站不出现在 AI Overviews、AI Mode 以及 Discover 中的生成式 AI 功能里。
这些页面都没有提到 Gemini 应用。不要假定摘要规则或 Search Console 设置会改变 Gemini 的 grounding,也不要假定 Google-Extended 会改变 AI Overviews。noindex 是例外:按照 Google 对 grounding 的定义,不在搜索索引中的页面不能用于 grounding。要找出你可能已经忘记的摘要规则,请检查 HTML 和响应头:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy 如何检查这些?
AISeeWhy 免费检查会与真实浏览器并列,以 Googlebot 以及其他 AI 和搜索爬虫的身份抓取你的页面,对每个爬虫应用你的 robots.txt(包括 Google-Extended 标识),识别验证页面,并显示在不运行 JavaScript 时能拿到多少文本。付费套餐中的 AI 可见度检查会使用你自己的密钥,通过启用 Google 搜索 grounding 的 Gemini API 提出你的问题,并显示你的品牌或域名是否被提及或引用。它不会查询 AI Overviews 或 AI Mode。
下一步
本文涉及的爬虫
常见问题
可以免费检查 Gemini 能否看到我的网站吗?
可以。Search Console、site: 搜索、你的 robots.txt 以及在 Gemini 中提问,都不花钱。AISeeWhy 的免费检查每天可为一个页面测试 Googlebot、Google-Extended 规则以及另外 14 个爬虫。
Gemini 有自己的爬虫吗?
用于 grounding 的没有。Google 表示 Google-Extended 没有 user agent 字符串,抓取由其现有爬虫完成。另外,由用户触发的获取工具(如 Google-GeminiNotebook 和 Google-Agent)会在用户请求时访问页面,Google 表示它们通常会忽略 robots.txt。
如果我屏蔽了 Google-Extended,Gemini 还会提到我的品牌吗?
Google 表示不会把你的内容用于 Gemini 应用中的 grounding。这条规则针对的是你自己的页面。对于其他网站上关于你的内容,Google 没有任何说明,所以 Gemini 仍可能根据这些来源提到你的品牌。
robots.txt 的更改多久能对 Gemini 生效?
Google 没有给出 Gemini 的生效时间。其 robots.txt 文档表示,Google 通常会将该文件缓存最多 24 小时,所以至少等一天再重新测试;对于 Google 很少重新抓取的页面,需要等待更久。
AI Overviews 和 Gemini 使用相同的来源吗?
Google 没有说明两者之间的关系。两者都依赖 Google 的索引,但控制方式不同:AI Overviews 和 AI Mode 由摘要规则和 Search Console 设置控制,Gemini 的 grounding 由 Google-Extended 控制。请分别检查。
如何长期追踪 Gemini 的回答?
准备一份固定的买家问题清单,定期在 Gemini 中提问,并记录来源中出现了哪些域名。AISeeWhy 的 AI 可见度检查每周通过启用 Google 搜索 grounding 的 Gemini API 运行你的问题,并与最多四个竞争对手并列显示提及情况。API 的结果可能与 Gemini 应用不同。
参考资料
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy:AI 爬虫访问报告,2026-11