十家企业网站中有四家拒绝 AI 爬虫
在我们审计的美国、英国和法国的 165 个企业网站中,38% 在服务器层面拒绝了至少一个 AI 爬虫,几乎都是训练或抓取类机器人。约每十个网站中有一个还拒绝了 PerplexityBot 或 OAI-SearchBot 这类 AI 搜索爬虫,而这些正是可能带来引用的爬虫。每个爬虫发一次请求,就能检查你的网站。
你向 ChatGPT 询问自己的产品,它却列出了竞争对手、一个评测网站和一个论坛帖子。有时这是内容的问题,更多时候是防火墙对 AI 爬虫说了不,而团队里没有人发现,因为网站在浏览器里一切正常。
我们测试了什么?
我们从同一个地址多次请求一个页面:一次以普通浏览器的身份,另外 14 个 AI 和搜索爬虫各一次,其中包括 OpenAI 的 GPTBot、OAI-SearchBot 和 ChatGPT-User,Anthropic 的 ClaudeBot 和 Claude-SearchBot,以及 Perplexity 的 PerplexityBot。如果浏览器能得到页面,而某个爬虫收到 401、403、406、429、451、503 或验证页面,就说明该网站拒绝了这个爬虫。
样本是美国、英国和法国的 218 个企业网站,审计时间为 2026 年 11 月 18 日至 21 日。其中 165 个我们完成了完整测试。另外 53 个连我们普通的浏览器请求也拒绝或没有响应,所以我们把它们排除在外,而不是去猜测。
我们发现了什么?
- 在可测试的网站中,38%(165 个中的 63 个)拒绝了至少一个 AI 爬虫。
- 这些网站无一例外至少拒绝了一个训练或抓取类爬虫。所有网站中,35% 拒绝了
Bytespider,13% 拒绝了ClaudeBot,11% 拒绝了GPTBot。 - 10% 的网站(16 个)还拒绝了至少一个 AI 搜索爬虫,5%(8 个)拒绝了在用户向助手提问时实时打开页面的爬虫。
- 最受影响的搜索爬虫是
PerplexityBot(11 个网站)和OAI-SearchBot(5 个网站)。 - 在拒绝了我们所测任一爬虫的 66 个网站中,有 32 个由 Cloudflare 处理。另有 30 个,我们无法判断是哪个防火墙作出的回应。
为什么会这样?什么时候是有意的选择?
其中很多很可能是有意为之。许多站长不希望自己的内容被用来训练模型,而拦截抓取程序的机器人防护设置很容易开启。这是合理的选择。
问题在于,AI 公司会分别运行用于训练和用于搜索的爬虫。拦截训练爬虫并不需要同时拦截搜索爬虫,而搜索爬虫才是可能让你的页面在回答中被引用的那个。
最大的网站做得更好吗?
并不是。在我们对访问量最高的 1,000 个域名所做的 robots.txt 报告中,有 robots.txt 的网站里 29.9% 拦截了至少一个 AI 训练爬虫,其中 63.2% 同时还拦截了至少一个 AI 搜索或用户爬虫。只有 11.0% 做到拦截训练爬虫、同时允许所有 AI 搜索爬虫,而这很可能正是大多数网站想要的设置。
如何在十分钟内检查自己的网站?
- 打开
yoursite.com/robots.txt。对于你关心的每个 AI 爬虫,看看是否有组点名了它,以及该组的内容是什么。点名某个爬虫的组会完全取代通用的*组。 - 测试服务器实际做了什么,而不是文件上写了什么。分别以浏览器和爬虫的身份请求你的关键页面。出现 403、429、标题为
Just a moment...的页面,或者响应比浏览器的小得多,都是防火墙拦截的特征。 - 直接问助手。开启搜索后,向 ChatGPT 或 Perplexity 提出你的客户会问的问题,看它引用了哪些网站。如果访问没有问题而你仍然没出现,那问题出在内容,而不是访问。
这些数字有多可靠?
请把它们当作一种模式,而不是全面普查。样本并非随机:这些公司是通过广告库、招聘网站和地图列表找到的。我们是从一个地址按 user agent 测试,而真正的爬虫来自厂商公布的地址,所以有些防火墙对真正的爬虫会区别对待。另外,拦截并不总是错误。
下一步
本文涉及的爬虫
常见问题
有多少网站拦截 AI 爬虫?
在我们审计的 165 个可测试的企业网站中,38% 在服务器层面拒绝了至少一个 AI 爬虫,大多是训练和抓取类机器人。约 10% 还拒绝了 AI 搜索爬虫。
拦截 GPTBot 会让我的网站退出 ChatGPT 搜索吗?
不会。OpenAI 表示,其各个爬虫的 robots.txt 设置相互独立:GPTBot 与训练有关,OAI-SearchBot 与 ChatGPT 搜索有关。拦截其中一个不会拦截另一个。
不用 robots.txt,网站如何拦截爬虫?
防火墙、CDN 或机器人防护规则可以对爬虫返回 403、429 或验证页面。robots.txt 里看不到这些,所以必须以爬虫身份请求页面来测试。
拒绝爬虫一定是错误吗?
不是。许多站长希望把训练爬虫和抓取程序挡在门外。错误在于不小心拦截了搜索爬虫,因为它们才是可能引用你页面的那些。
参考资料
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)