为什么我的网站突然屏蔽了 AI 爬虫?
开始屏蔽 AI 爬虫的网站,几乎总是在以下五处之一发生了变化:实际返回的 robots.txt、CDN 设置(例如 Cloudflare 的 AI 爬虫策略)、机器人防护或速率限制、主机商的默认设置,或者 robots.txt 现在返回错误。请获取今天的 robots.txt,并以每个爬虫的身份获取一个页面,与浏览器的结果以及你以前的结果进行比较,再按这个顺序检查这些环节。
没有人会主动决定从 AI 回答中消失。这往往是主题更新、安全设置、网站迁移或服务商更改默认设置带来的副作用。浏览器看到的网站一切正常,所以这种变化可能一直没人注意,直到有人向 ChatGPT 或 Perplexity 询问产品时,得到的却是竞争对手。每个环节都会留下痕迹,你可以从外部或在日志中检查。
本页内容
爬虫拿到的 robots.txt 变了吗?
获取 https://yourdomain.com/robots.txt,并与代码仓库或备份中的文件进行比较。要看实际返回的文件,而不是磁盘上的文件,因为有好几个环节可能在中途修改它:
- 某次部署上线了带有
Disallow: /的测试环境 robots.txt,或者迁移后保留了平台的默认文件。 - 建站工具的某个设置添加了 AI 爬虫规则。例如,Squarespace 有一个 Block known artificial intelligence crawlers 选项,会把 26 个机器人名称写入 robots.txt,并表示以后可能会增加更多。这个选项默认关闭,所以必须有人打开它,但打开之后列表可能会变长。
- SEO 或安全插件更新后写入了新规则,或者新增了一个被人打开的选项。
- 当 Bot Preference Sync 处于开启状态,且某项 AI 策略设为 Block 或 Disallow 时,Cloudflare 会把它管理的 robots.txt 内容加在你的文件前面。于是实际返回的文件以针对
ClaudeBot、GPTBot和另外六个训练标识的Disallow: /开头,尽管你自己的文件并没有改变。 - 原本针对训练爬虫的规则被复制给了其他爬虫,包括
OAI-SearchBot、Claude-SearchBot或PerplexityBot等搜索爬虫。
Google Search Console 的 robots.txt 报告会显示 Google 在过去 30 天内获取的各个版本,每当文件或获取结果发生变化,就会新增一条记录。它只涵盖 Google 看到的内容,但除非你的服务器按 user agent 返回不同的 robots.txt,AI 爬虫拿到的也是同一个文件。
Cloudflare 2026 年的 AI 爬虫策略是否改变了我的网站允许的内容?
Cloudflare 已多次更改其 AI 爬虫控制,其中一些变化会在没有人编辑的情况下改变一个 zone 的行为。2025 年 7 月 1 日,它开始在新域名注册时询问是否允许 AI 爬虫,初始状态为屏蔽。2026 年 7 月 1 日,它用 Search、Agent 和 Training 三项独立策略取代了原来单一的 Block AI bots 开关,适用于包括 Free 在内的所有套餐。
最容易让网站中招的细节是多用途爬虫。Cloudflare 的文档表示,Training 操作同样适用于既用于搜索又用于训练的爬虫。其 2026 年 7 月的公告称,从 2026 年 9 月 15 日起,对于选择屏蔽 Training 的客户,无论是通过新选项还是旧的 Block AI bots 设置,Googlebot、Applebot 和 BingBot 等多用途爬虫都会被屏蔽。因此,一年前设置的训练退出选项,现在可能会波及搜索爬虫。
关于新域名的默认设置,不同时期的说法并不一致。同一公告称,从 2026 年 9 月 15 日起,新域名在展示广告的页面上会屏蔽 Training 和 Agent;而 2026 年 11 月 2 日更新的策略文档则说,新域名的三项策略初始均为 Allow。请打开 Security,再打开 Settings,按 Bot traffic 筛选,查看你自己 zone 的 AI Crawler and Agent access policies。我们关于 Cloudflare AI Crawl Control 的指南解释了每项设置。
机器人防护或速率限制是否拦住了爬虫?
机器人防护会评判每个请求,而爬虫从数据中心快速抓取大量页面,这正是机器人的行为。上个月还能通过的爬虫,可能在其运营方更换 IP 段或抓取速率之后,或在防护规则更新之后,开始收到验证页面。Cloudflare 的 Bot Fight Mode 是常见原因,Cloudflare 表示它无法通过 WAF 自定义规则或 Page Rules 绕过或跳过,所以只要它处于开启状态,事后添加的放行规则也无济于事。新设置的速率限制如果对突发请求返回 429,对一个繁忙的爬虫也会产生同样的效果。
从外部测试:分别以浏览器和两个 AI 搜索爬虫的身份请求一个页面,然后以爬虫身份请求 robots.txt。
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 如果只有爬虫收到 403、429 或 503,或者页面标题是 Just a moment...,或者响应体比浏览器的小得多,就说明爬虫受到了区别对待。测试来自你的 IP,而不是厂商的 IP,所以基于已验证机器人状态的规则仍可能以不同方式对待真正的爬虫。防火墙的事件日志会显示是哪条规则做出了响应。
我的主机商是否更改了默认设置?
有些主机商会在服务器层面、在你自己的规则运行之前过滤 AI 流量。例如,SiteGround 在 2025 年 8 月写道,它默认屏蔽用于收集训练数据的 AI 爬虫,并允许在有人向 AI 助手询问某个页面时前来访问的爬虫。这类规则不会出现在你的 robots.txt 中,并且可能在主机商更新其机器人列表时发生变化。
如果同一主机商下的多个网站同时出现屏蔽,或者屏蔽出现在从未到达你应用日志的响应中,请询问主机商哪些机器人规则适用于你的账户,以及能否为你想保留的爬虫设置例外。
robots.txt 是否在返回错误?
一个出错的 robots.txt 可能比任何一行 Disallow 屏蔽得更多。根据 RFC 9309,4xx 响应意味着爬虫可以抓取所有内容,但服务器错误(5xx)或完全没有响应,意味着它必须假定整个网站都被禁止。Google 在出现此类错误的前 12 小时内会停止抓取,之后最多 30 天使用它最后一个正常的副本。
这就是为什么负载激增、对 /robots.txt 发起验证的防火墙规则,或把它也包括在内的速率限制,可以在没有改动任何一条规则的情况下把守规矩的爬虫拒之门外。上面测试中的最后一条命令应该返回 200 和 text/plain。如果这里出现 5xx、超时或验证页面,那就是首先要修复的问题。
如何查出问题是从什么时候开始的?
有了日期,谜题就变成了一次对比。在访问日志中筛选来自 AI 爬虫 user agent 的请求,找出它们的状态码从 200 变为 403、429 或 503 的那一天,或者它们读取 robots.txt 后不再请求页面的那一天;我们关于在服务器日志中查找 AI 爬虫的指南提供了相关命令。被 CDN 拦截的请求永远不会到达源服务器,所以也要检查 CDN。在 Cloudflare 上,AI Crawl Control 会显示状态码随时间的分布,并可以按爬虫筛选。
然后把这个日期与部署、插件和主题更新、CDN 设置更改以及服务商公告对照。在采取行动之前,先确认来源 IP 属于该厂商,确保你看的是真正的爬虫,而不是冒用其名称的冒充者。
下次如何更早发现?
每次部署、CDN 更改和插件更新之后都检查访问情况,而不只是在流量下降时才检查。AISeeWhy 免费检查会与真实浏览器并列,以 16 个 AI 和搜索爬虫的身份抓取页面,按爬虫应用你的 robots.txt,并识别防火墙验证页面。免费的 robots.txt 测试工具会按爬虫显示,在今天线上生效的文件下,某个页面是否允许抓取。
下一步
本文涉及的爬虫
常见问题
为什么 ChatGPT 不再显示我的网站?
通常是因为 ChatGPT 搜索背后的爬虫 OAI-SearchBot 被 robots.txt 更改、CDN 策略或机器人防护屏蔽了。OpenAI 表示,屏蔽它的网站不会出现在 ChatGPT 的搜索回答中。请针对这个爬虫逐一检查各个环节,并在修复 robots.txt 后等待约 24 小时,这是 OpenAI 所说的其系统完成调整所需的时间。
Cloudflare 是否开始在我的网站上屏蔽 Googlebot?
有可能。Cloudflare 表示,从 2026 年 9 月 15 日起,屏蔽 Training 的客户也会屏蔽 Googlebot、Applebot 和 BingBot 等多用途爬虫。其文档称,Training 的 Disallow 选项会在边缘屏蔽训练爬虫,但不包括多用途爬虫,所以请检查你的 zone 使用的是哪个选项。
建站工具或插件会替我修改 robots.txt 吗?
会。建站工具以及 SEO 或安全插件可以把 AI 爬虫规则写入 robots.txt,有些还会随着时间扩充其机器人列表。每次更新之后,请获取线上文件,阅读适用于你关心的搜索爬虫的规则组。
为什么线上的 robots.txt 与我服务器上的文件不同?
你的服务器前面有某个环节在修改它。例如,Cloudflare 管理的 robots.txt 会在同一响应中把自己的规则和内容信号加在你的文件前面。按请求生成 robots.txt 的 CMS 或主机层面的设置,也可能替换或扩展它。
修复后 AI 爬虫多久会回来?
RFC 9309 规定爬虫使用缓存的 robots.txt 不应超过 24 小时,OpenAI 说大约 24 小时,Perplexity 说最多 24 小时。防火墙更改在服务商部署后立即生效,但爬虫会按自己的节奏回来。
参考资料
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options(2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers