十家企业网站中有四家拒绝 AI 爬虫

发布于

简短回答

在我们审计的美国、英国和法国的 165 个企业网站中,38% 在服务器层面拒绝了至少一个 AI 爬虫,几乎都是训练或抓取类机器人。约每十个网站中有一个还拒绝了 PerplexityBot 或 OAI-SearchBot 这类 AI 搜索爬虫,而这些正是可能带来引用的爬虫。每个爬虫发一次请求,就能检查你的网站。

你向 ChatGPT 询问自己的产品,它却列出了竞争对手、一个评测网站和一个论坛帖子。有时这是内容的问题,更多时候是防火墙对 AI 爬虫说了不,而团队里没有人发现,因为网站在浏览器里一切正常。

本页内容
  1. 我们测试了什么?
  2. 我们发现了什么?
  3. 为什么会这样?什么时候是有意的选择?
  4. 最大的网站做得更好吗?
  5. 如何在十分钟内检查自己的网站?
  6. 这些数字有多可靠?

我们测试了什么?

我们从同一个地址多次请求一个页面:一次以普通浏览器的身份,另外 14 个 AI 和搜索爬虫各一次,其中包括 OpenAI 的 GPTBot、OAI-SearchBot 和 ChatGPT-User,Anthropic 的 ClaudeBot 和 Claude-SearchBot,以及 Perplexity 的 PerplexityBot。如果浏览器能得到页面,而某个爬虫收到 401、403、406、429、451、503 或验证页面,就说明该网站拒绝了这个爬虫。

样本是美国、英国和法国的 218 个企业网站,审计时间为 2026 年 11 月 18 日至 21 日。其中 165 个我们完成了完整测试。另外 53 个连我们普通的浏览器请求也拒绝或没有响应,所以我们把它们排除在外,而不是去猜测。

我们发现了什么?

为什么会这样?什么时候是有意的选择?

其中很多很可能是有意为之。许多站长不希望自己的内容被用来训练模型,而拦截抓取程序的机器人防护设置很容易开启。这是合理的选择。

问题在于,AI 公司会分别运行用于训练和用于搜索的爬虫。拦截训练爬虫并不需要同时拦截搜索爬虫,而搜索爬虫才是可能让你的页面在回答中被引用的那个。

最大的网站做得更好吗?

并不是。在我们对访问量最高的 1,000 个域名所做的 robots.txt 报告中,有 robots.txt 的网站里 29.9% 拦截了至少一个 AI 训练爬虫,其中 63.2% 同时还拦截了至少一个 AI 搜索或用户爬虫。只有 11.0% 做到拦截训练爬虫、同时允许所有 AI 搜索爬虫,而这很可能正是大多数网站想要的设置。

如何在十分钟内检查自己的网站?

  1. 打开 yoursite.com/robots.txt。对于你关心的每个 AI 爬虫,看看是否有组点名了它,以及该组的内容是什么。点名某个爬虫的组会完全取代通用的 * 组。
  2. 测试服务器实际做了什么,而不是文件上写了什么。分别以浏览器和爬虫的身份请求你的关键页面。出现 403、429、标题为 Just a moment... 的页面,或者响应比浏览器的小得多,都是防火墙拦截的特征。
  3. 直接问助手。开启搜索后,向 ChatGPT 或 Perplexity 提出你的客户会问的问题,看它引用了哪些网站。如果访问没有问题而你仍然没出现,那问题出在内容,而不是访问。

这些数字有多可靠?

请把它们当作一种模式,而不是全面普查。样本并非随机:这些公司是通过广告库、招聘网站和地图列表找到的。我们是从一个地址按 user agent 测试,而真正的爬虫来自厂商公布的地址,所以有些防火墙对真正的爬虫会区别对待。另外,拦截并不总是错误。

免费工具

下一步

本文涉及的爬虫

常见问题

有多少网站拦截 AI 爬虫?

在我们审计的 165 个可测试的企业网站中,38% 在服务器层面拒绝了至少一个 AI 爬虫,大多是训练和抓取类机器人。约 10% 还拒绝了 AI 搜索爬虫。

拦截 GPTBot 会让我的网站退出 ChatGPT 搜索吗?

不会。OpenAI 表示,其各个爬虫的 robots.txt 设置相互独立:GPTBot 与训练有关,OAI-SearchBot 与 ChatGPT 搜索有关。拦截其中一个不会拦截另一个。

不用 robots.txt,网站如何拦截爬虫?

防火墙、CDN 或机器人防护规则可以对爬虫返回 403、429 或验证页面。robots.txt 里看不到这些,所以必须以爬虫身份请求页面来测试。

拒绝爬虫一定是错误吗?

不是。许多站长希望把训练爬虫和抓取程序挡在门外。错误在于不小心拦截了搜索爬虫,因为它们才是可能引用你页面的那些。

参考资料

更多文章