我们读了访问量最高的 10,000 个网站的 robots.txt,看它们如何对待 AI 爬虫

发布于

简短回答

在 Tranco 前 10,000 名中提供 robots.txt 的 6,192 个域名里,23.2% 拦截至少一个 AI 训练爬虫,12.3% 拦截至少一个 AI 搜索或用户爬虫。拦截训练的网站中,51.6% 同时拦截 AI 搜索。只有 11.2% 选择退出训练,同时允许所有 AI 搜索爬虫。

11 月我们读取了访问量最高的 1,000 个域名的 robots.txt。这一次用同样的方法读取了 10,000 个,并增加了一项检查:网站越小,情况如何变化。主要结论没有变:拦截训练和拦截搜索被当作同一个决定,尽管它们是两件事。

本页内容
  1. 我们是如何测量的?
  2. 我们发现了什么?
  3. 哪些爬虫被拦截得最多?
  4. 更大的网站拦截得更多吗?
  5. 自 11 月 12 日的报告以来有变化吗?
  6. 这对你的 robots.txt 意味着什么?
  7. 这些数字有多可靠?

我们是如何测量的?

我们取 Tranco 列表(列表 ID JZWZY)的前 10,000 个域名,于 2026 年 11 月 21 日以 AISeeWhy 自己的 user agent 对每个域名各获取一次首页、robots.txt 和 llms.txt。我们按 RFC 9309,针对首页(/)和 16 个 AI 及搜索爬虫来判定每份 robots.txt。

10,000 个域名中有 6,192 个提供了 robots.txt(成功响应且不是 HTML 页面)。1,121 个返回 4xx,意味着没有规则、允许所有爬虫;2,687 个没有提供(没有 HTTPS 站点、出错、超时或返回的是 HTML 页面)。下面所有百分比的基数都是这 6,192 个。该列表中包含不提供网站的 CDN 和 API。

我们发现了什么?

哪些爬虫被拦截得最多?

在 6,192 个域名中,robots.txt 对该爬虫禁止访问首页的占比:

更大的网站拦截得更多吗?

是的,而且它们更常把训练和搜索混为一谈。我们按排名拆分了列表:

有选择的路线在各个规模上都很少见:三组中的占比分别为 10.5%、10.4% 和 11.5%。

自 11 月 12 日的报告以来有变化吗?

我们用同一份列表重新测试了前 1,000 个域名。结果在约一个百分点内保持稳定:28.6% 拦截训练(11 月 12 日为 29.9%),18.6% 拦截 AI 搜索(19.5%),拦截训练的网站中 63.1% 也拦截 AI 搜索(63.2%)。基数略有不同(现在有 robots.txt 的域名为 560 个,当时是 518 个),因为这次运行在获取之前会先跟随域名的重定向到主站点。

这对你的 robots.txt 意味着什么?

大多数 AI 公司都分别记录了用于训练和用于搜索的爬虫,并表示这些设置相互独立。禁止 GPTBot 不影响 OAI-SearchBot,禁止 ClaudeBot 也不影响 Claude-SearchBot。如果你想退出训练但仍希望被引用,就拦截训练标识,允许搜索和用户标识,并且要在每个组里重复任何私有路径,因为点名的组不会继承 * 组的规则。

这些数字有多可靠?

它们是用一个解析器在某一天读取的首页 robots.txt 规则。它们不衡量防火墙的拦截,而防火墙可能拒绝 robots.txt 允许的爬虫。它们也无法说明每个网站的意图,而且 Tranco 列表中包含不提供网站的域名。拦截搜索爬虫的规则并不能证明是错误,只说明这是一个往往在不了解区别的情况下做出的选择。你可以引用这些数字,并附上本页链接。

免费工具

下一步

本文涉及的爬虫

常见问题

有多少热门网站拦截 AI 爬虫?

在 Tranco 前 10,000 名中提供 robots.txt 的 6,192 个域名里,23.2% 拦截至少一个 AI 训练爬虫,12.3% 拦截至少一个 AI 搜索或用户爬虫。

拦截 AI 训练的网站也会拦截 AI 搜索吗?

经常如此。拦截训练爬虫的网站中,51.6% 还拦截至少一个 AI 搜索或用户爬虫,尽管厂商把它们记录为设置相互独立的不同爬虫。

哪个 AI 爬虫被拦截得最多?

训练爬虫中是 Bytespider(18.7%)和 CCBot(18.5%),其次是 GPTBot(17.4%)。AI 搜索爬虫中被拦截最多的是 PerplexityBot,占 10.4% 的域名。

为什么这些数字与你们之前的 1,000 个网站的报告不同?

前 1,000 个域名给出的百分比几乎相同(28.6% 和 18.6%,而之前是 29.9% 和 19.5%)。10,000 个网站的数字较低,是因为较小的网站拦截得更少。

参考资料

更多文章