Gemini 能看到我的网站吗?检查方法

发布于 · 更新于

简短回答

只有当页面在 Google 搜索索引中,并且你的 robots.txt 没有禁止 Google-Extended 标识时,Gemini 才能在基于搜索的回答(grounding)中使用你的页面。Google 表示,Gemini 应用中的 grounding 会把 Google 搜索索引中的内容提供给模型,而 Google-Extended 控制你的内容能否用于此用途。所以请在 Search Console 中检查索引情况,检查 robots.txt 中针对 Googlebot 和 Google-Extended 的规则,然后向 Gemini 提出你的买家会问的问题并打开它的来源。

Gemini 没有一个可以像其他助手那样在日志中追踪的专属爬虫。Google 用现有的爬虫抓取,而 robots.txt 中的一个标识决定 Gemini 可以如何使用这些内容。因此检查方法也不同:大部分工作在 Google Search Console 和你的 robots.txt 中完成,最后一步则在 Gemini 中进行。

本页内容
  1. 5 分钟检查,分步说明
  2. Gemini 如何从网站获取信息?
  3. 如何检查 Google 是否已将我的页面编入索引?
  4. Google-Extended 是否在阻止 Gemini 使用我的网站?
  5. 防火墙会在放行浏览器的同时屏蔽 Google 吗?
  6. 如何查看 Gemini 是否使用或引用了我的网站?
  7. AI Overviews、AI Mode 和摘要规则会影响 Gemini 吗?
  8. AISeeWhy 如何检查这些?

5 分钟检查,分步说明

  1. 在 Google 中搜索 site: 加上你的页面地址,或使用 Search Console 中的网址检查,确认该页面已被 Google 编入索引。
  2. 打开你的 robots.txt,确认 Googlebot 可以抓取该页面,并且 Google-Extended 没有被禁止,除非你选择了退出。
  3. 在 AISeeWhy 上免费检查该页面,或用 Googlebot 的 user agent 发送一个请求:它必须得到状态码 200 以及与浏览器相同的文本。
  4. 向 Gemini 提一个你的页面能回答的问题,并打开回答下方显示的来源。

如果页面没有被编入索引,Gemini 的事实依据功能就无法使用它,所以请从第 1 步开始。下面的章节会解释每一步,以及未通过时该怎么做。

Gemini 如何从网站获取信息?

Google 的 Gemini 应用隐私中心(Gemini Apps Privacy Hub)表示,Gemini 的部分回答以搜索结果为依据(grounding)。Google 的爬虫文档把 grounding 定义为在提示时向模型提供 Google 搜索索引中的内容,以提高准确性和相关性。同一页面指出,Google-Extended 控制 Google 抓取的内容能否用于训练 Gemini 模型,以及能否用于 Gemini 应用中的 grounding 和 Vertex AI 上的 Grounding with Google Search。

Google-Extended 没有自己的 user agent 字符串。Google 表示抓取由其现有的 user agent 完成,这个标识只在 robots.txt 中作为控制项起作用。实际上,Gemini 使用你的页面需要满足两个条件:Google 已将页面编入索引,并且你的 robots.txt 没有对该页面禁止 Google-Extended。

Google 没有说明 Gemini 如何选择使用或引用哪些已编入索引的页面。满足这两个条件能让你的页面可供使用,但并不保证 Gemini 会选中它。

如何检查 Google 是否已将我的页面编入索引?

使用 Google Search Console 中的网址检查工具(URL Inspection)。对于已编入索引的版本,它会显示:

“测试实际网址”会实时获取页面,“查看已测试的网页”会显示屏幕截图和 Google 收到的 HTML。如果截图是验证页面,或者 HTML 缺少正文,Google 以及随之而来的 Gemini 都看不到你的内容。“请求编入索引”会请 Google 重新抓取该网址;Google 表示通常需要大约一天,但不保证一定会编入索引。

Google-Extended 是否在阻止 Gemini 使用我的网站?

打开你的 robots.txt,查找指明 Google-Extended 的规则组。其中的 Disallow: / 告诉 Google 不要把你的页面用于 Gemini 训练,也不要用于 Gemini 应用中的 grounding。Google 表示这个标识不影响页面能否出现在 Google 搜索中,也不是排名信号,所以这种屏蔽很容易被忽视:你的搜索流量看起来一切正常,而 Gemini 却无法以你的页面为依据生成回答。我们另有一篇关于 AI Overviews 和 Google-Extended 的文章,介绍了这个标识在搜索中能控制什么、不能控制什么。

由于这个标识从不出现在请求中,你无法用 curl 测试它,也无法在日志中找到它。阅读文件是唯一的检查方法:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

匹配不区分大小写;如果没有规则组指明 Google-Extended,则 * 规则组适用于它。许多网站在 AI 训练刚开始被讨论时就加上了这条屏蔽。在我们对访问量最高的 1,000 个域名的研究中,有 robots.txt 的 518 个网站里,114 个指明了 Google-Extended,其中 94 个(18.1%)对它禁止了首页。考虑到它也涵盖 grounding,请判断这是否仍符合你的意愿。

防火墙会在放行浏览器的同时屏蔽 Google 吗?

会。如果机器人防护或速率限制对 Google 的爬虫返回 403、429 或验证页面,Google 就无法抓取该页面,时间一长,页面可能从搜索中消失,随之也会从 Gemini 的 grounding 中消失。网址检查是这里最好的测试,因为 Google 从它自己的地址获取页面;从你的电脑用 curl 测试,只能显示你的规则如何对待该 user agent。

要安全地放行 Google,请验证访问者,而不是相信名称。Google 的文档介绍了先做反向 DNS 查询、再做正向查询的方法,并在 common-crawlers.json 中公布了常见爬虫的 IP 范围:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

把示例地址换成你日志中的地址。如果两次查询结果不一致,这个请求只是自称来自 Google。

如何查看 Gemini 是否使用或引用了我的网站?

向 Gemini 提出你的买家会问的问题,不要提及你的网站名称,然后打开来源。Google 帮助中心表示,“来源”按钮会出现在回答底部或正文中,点击后会打开一个相关链接面板,其中可能包括公开网站。如果没有“来源”按钮,说明 Gemini 没有为该回答提供链接,Google 也指出并非所有回答都包含链接。记下出现了哪些域名,并在几周内重复提出相同的问题。

开发者可以通过启用 Grounding with Google Search 的 Gemini API 进行同样的测试。Google 表示它会把模型连接到实时的网络内容,基于搜索的回答会附上每个来源的 URL 和标题作为引用,因此你可以检查自己的域名是否出现。API 的回答可能与 Gemini 应用中显示的不同。

有些与 Gemini 相关的获取确实会到达你的服务器。Google 列出了由用户触发的获取工具,例如 Google-GeminiNotebook,它会请求用户作为来源添加到 Gemini Notebook 项目中的 URL;还有 Google-Agent,由运行在 Google 基础设施上、代表用户执行请求的代理使用。Google 表示,由于获取是用户要求的,这些工具通常会忽略 robots.txt。它们的访问说明有人通过这些产品打开了你的页面;它们并不是上文所述的 grounding 途径。

AI Overviews、AI Mode 和摘要规则会影响 Gemini 吗?

AI Overviews 和 AI Mode 是 Google 搜索的功能,有各自的控制方式。Google 列出了 nosnippet、data-nosnippet、max-snippet 和 noindex,作为限制页面展示内容的方法。其 robots meta 标签文档表示,nosnippet 还会阻止内容被直接用作 AI Overviews 和 AI Mode 的输入,max-snippet 则限制可使用的内容量。Search Console 还提供一个全站范围的搜索生成式 AI 设置,可以让网站不出现在 AI Overviews、AI Mode 以及 Discover 中的生成式 AI 功能里。

这些页面都没有提到 Gemini 应用。不要假定摘要规则或 Search Console 设置会改变 Gemini 的 grounding,也不要假定 Google-Extended 会改变 AI Overviews。noindex 是例外:按照 Google 对 grounding 的定义,不在搜索索引中的页面不能用于 grounding。要找出你可能已经忘记的摘要规则,请检查 HTML 和响应头:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy 如何检查这些?

AISeeWhy 免费检查会与真实浏览器并列,以 Googlebot 以及其他 AI 和搜索爬虫的身份抓取你的页面,对每个爬虫应用你的 robots.txt(包括 Google-Extended 标识),识别验证页面,并显示在不运行 JavaScript 时能拿到多少文本。付费套餐中的 AI 可见度检查会使用你自己的密钥,通过启用 Google 搜索 grounding 的 Gemini API 提出你的问题,并显示你的品牌或域名是否被提及或引用。它不会查询 AI Overviews 或 AI Mode。

免费工具

下一步

本文涉及的爬虫

常见问题

可以免费检查 Gemini 能否看到我的网站吗?

可以。Search Console、site: 搜索、你的 robots.txt 以及在 Gemini 中提问,都不花钱。AISeeWhy 的免费检查每天可为一个页面测试 Googlebot、Google-Extended 规则以及另外 14 个爬虫。

Gemini 有自己的爬虫吗?

用于 grounding 的没有。Google 表示 Google-Extended 没有 user agent 字符串,抓取由其现有爬虫完成。另外,由用户触发的获取工具(如 Google-GeminiNotebook 和 Google-Agent)会在用户请求时访问页面,Google 表示它们通常会忽略 robots.txt。

如果我屏蔽了 Google-Extended,Gemini 还会提到我的品牌吗?

Google 表示不会把你的内容用于 Gemini 应用中的 grounding。这条规则针对的是你自己的页面。对于其他网站上关于你的内容,Google 没有任何说明,所以 Gemini 仍可能根据这些来源提到你的品牌。

robots.txt 的更改多久能对 Gemini 生效?

Google 没有给出 Gemini 的生效时间。其 robots.txt 文档表示,Google 通常会将该文件缓存最多 24 小时,所以至少等一天再重新测试;对于 Google 很少重新抓取的页面,需要等待更久。

AI Overviews 和 Gemini 使用相同的来源吗?

Google 没有说明两者之间的关系。两者都依赖 Google 的索引,但控制方式不同:AI Overviews 和 AI Mode 由摘要规则和 Search Console 设置控制,Gemini 的 grounding 由 Google-Extended 控制。请分别检查。

如何长期追踪 Gemini 的回答?

准备一份固定的买家问题清单,定期在 Gemini 中提问,并记录来源中出现了哪些域名。AISeeWhy 的 AI 可见度检查每周通过启用 Google 搜索 grounding 的 Gemini API 运行你的问题,并与最多四个竞争对手并列显示提及情况。API 的结果可能与 Gemini 应用不同。

参考资料

更多文章