我们读了访问量最高的 10,000 个网站的 robots.txt,看它们如何对待 AI 爬虫
在 Tranco 前 10,000 名中提供 robots.txt 的 6,192 个域名里,23.2% 拦截至少一个 AI 训练爬虫,12.3% 拦截至少一个 AI 搜索或用户爬虫。拦截训练的网站中,51.6% 同时拦截 AI 搜索。只有 11.2% 选择退出训练,同时允许所有 AI 搜索爬虫。
11 月我们读取了访问量最高的 1,000 个域名的 robots.txt。这一次用同样的方法读取了 10,000 个,并增加了一项检查:网站越小,情况如何变化。主要结论没有变:拦截训练和拦截搜索被当作同一个决定,尽管它们是两件事。
我们是如何测量的?
我们取 Tranco 列表(列表 ID JZWZY)的前 10,000 个域名,于 2026 年 11 月 21 日以 AISeeWhy 自己的 user agent 对每个域名各获取一次首页、robots.txt 和 llms.txt。我们按 RFC 9309,针对首页(/)和 16 个 AI 及搜索爬虫来判定每份 robots.txt。
10,000 个域名中有 6,192 个提供了 robots.txt(成功响应且不是 HTML 页面)。1,121 个返回 4xx,意味着没有规则、允许所有爬虫;2,687 个没有提供(没有 HTTPS 站点、出错、超时或返回的是 HTML 页面)。下面所有百分比的基数都是这 6,192 个。该列表中包含不提供网站的 CDN 和 API。
我们发现了什么?
- 23.2%(1,437 个域名)拦截至少一个 AI 训练爬虫。
- 12.3%(762 个)拦截至少一个 AI 搜索或用户爬虫,因此依赖它的回答不应使用或引用这些页面。
- 在拦截训练爬虫的域名中,51.6%(1,437 个中的 742 个)还拦截至少一个 AI 搜索或用户爬虫。
- 只有 11.2%(695 个)走了有选择的路线:拦截训练爬虫,并允许所有 AI 搜索和用户爬虫。
- 6.5%(401 个)用
Content-Signal声明自己对 AI 的偏好。 - 在全部 10,000 个域名中,12.4%(1,240 个)发布了
llms.txt。 - 作为对比,2.0%(124 个)在首页拦截
Googlebot。
哪些爬虫被拦截得最多?
在 6,192 个域名中,robots.txt 对该爬虫禁止访问首页的占比:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%。Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%。PerplexityBot为 10.4%,是被拦截最多的 AI 搜索爬虫,其后是OAI-SearchBot7.0% 和Claude-SearchBot7.0%。- 在用户提问时打开页面的爬虫:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%。
更大的网站拦截得更多吗?
是的,而且它们更常把训练和搜索混为一谈。我们按排名拆分了列表:
- 第 1 到 1,000 名(560 个有 robots.txt 的域名):28.6% 拦截训练,18.6% 拦截 AI 搜索,拦截训练的网站中有 63.1% 也拦截 AI 搜索。
- 第 1,001 到 3,000 名(1,256 个域名):23.5%、13.5% 和 55.6%。
- 第 3,001 到 10,000 名(4,376 个域名):22.4%、11.2% 和 48.6%。
有选择的路线在各个规模上都很少见:三组中的占比分别为 10.5%、10.4% 和 11.5%。
自 11 月 12 日的报告以来有变化吗?
我们用同一份列表重新测试了前 1,000 个域名。结果在约一个百分点内保持稳定:28.6% 拦截训练(11 月 12 日为 29.9%),18.6% 拦截 AI 搜索(19.5%),拦截训练的网站中 63.1% 也拦截 AI 搜索(63.2%)。基数略有不同(现在有 robots.txt 的域名为 560 个,当时是 518 个),因为这次运行在获取之前会先跟随域名的重定向到主站点。
这对你的 robots.txt 意味着什么?
大多数 AI 公司都分别记录了用于训练和用于搜索的爬虫,并表示这些设置相互独立。禁止 GPTBot 不影响 OAI-SearchBot,禁止 ClaudeBot 也不影响 Claude-SearchBot。如果你想退出训练但仍希望被引用,就拦截训练标识,允许搜索和用户标识,并且要在每个组里重复任何私有路径,因为点名的组不会继承 * 组的规则。
这些数字有多可靠?
它们是用一个解析器在某一天读取的首页 robots.txt 规则。它们不衡量防火墙的拦截,而防火墙可能拒绝 robots.txt 允许的爬虫。它们也无法说明每个网站的意图,而且 Tranco 列表中包含不提供网站的域名。拦截搜索爬虫的规则并不能证明是错误,只说明这是一个往往在不了解区别的情况下做出的选择。你可以引用这些数字,并附上本页链接。
下一步
本文涉及的爬虫
常见问题
有多少热门网站拦截 AI 爬虫?
在 Tranco 前 10,000 名中提供 robots.txt 的 6,192 个域名里,23.2% 拦截至少一个 AI 训练爬虫,12.3% 拦截至少一个 AI 搜索或用户爬虫。
拦截 AI 训练的网站也会拦截 AI 搜索吗?
经常如此。拦截训练爬虫的网站中,51.6% 还拦截至少一个 AI 搜索或用户爬虫,尽管厂商把它们记录为设置相互独立的不同爬虫。
哪个 AI 爬虫被拦截得最多?
训练爬虫中是 Bytespider(18.7%)和 CCBot(18.5%),其次是 GPTBot(17.4%)。AI 搜索爬虫中被拦截最多的是 PerplexityBot,占 10.4% 的域名。
为什么这些数字与你们之前的 1,000 个网站的报告不同?
前 1,000 个域名给出的百分比几乎相同(28.6% 和 18.6%,而之前是 29.9% 和 19.5%)。10,000 个网站的数字较低,是因为较小的网站拦截得更少。
参考资料
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers