如何解读 Cloudflare AI Crawl Control 报告,查看哪些 AI 爬虫能进入
在 Cloudflare 控制台中打开 AI Crawl Control:爬虫列表显示 Cloudflare 在你的域名上见过的每个 AI 爬虫、其请求数、robots.txt 违规次数,以及操作是 Allow 还是 Block。要保留 AI 搜索、拒绝训练,请在这里或在 AI Crawler and Agent access policies 中放行搜索和代理类爬虫,并屏蔽或禁止训练爬虫。然后从外部用 curl 确认,因为 Cloudflare 的其他功能仍可能屏蔽你已放行的爬虫。
Cloudflare 现在有两个地方决定 AI 爬虫能拿到什么:一个是 AI Crawl Control,即以前叫 AI Audit 的按爬虫报告和控制面板;另一个是“安全性”设置中适用于整个区域的 AI Crawler and Agent access policies。两者在 Free 套餐中都可用,都在 2026 年有过变化,而且都不会告诉你其他所有仍可能对爬虫返回 403 的功能。本指南逐列讲解报告,说明在哪里设置允许和屏蔽,最后给出一个可以在你自己电脑上运行的测试。
本页内容
Cloudflare 的 AI 爬虫报告在哪里?
在控制台中选择你的账户和域名,然后打开 AI Crawl Control。Cloudflare 表示,它无需配置即可使用,适用于所有套餐,只要你域名的流量经过 Cloudflare 代理即可。它有四个区域:
- Overview:概要,包括总请求数、流量变化、最常见的状态码、最热门的路径和高流量爬虫,以及 Cloudflare 托管 robots.txt 是否开启,并按 OpenAI、Microsoft、Google、ByteDance、Anthropic 和 Meta 等运营方对爬虫分组。
- 爬虫列表:每个 AI 爬虫一行,带有 Action 列,你可以在其中选择 Allow 或 Block。Cloudflare 的文档在一个页面中把这个标签页叫作 Crawlers,在另一个页面中叫作 Security,所以请找带有 Action 列的那个表格。
- Metrics:随时间变化的请求数、状态码分布、内容格式、最热门的路径,付费套餐还有引荐数据。筛选条件包括日期范围、爬虫、运营方、主机名和路径,并可以导出 CSV。
- Directives:robots.txt 文件的健康状况和 robots.txt 违规列表。
解读数字时有两个套餐限制需要注意。在 Free 套餐中,AI Crawl Control 只通过用户代理字符串识别爬虫,所以它只能看到自报身份的爬虫,Metrics 标签页也只涵盖过去 24 小时。付费套餐增加了通过 Bot Management 检测 ID 进行的识别,带 Bot Management 的 Enterprise 套餐还可以自定义时间范围。
AI Crawl Control 报告中的每一列和每个指标是什么意思?
Cloudflare 对这些字段的说明如下。定义很重要,因为有几个数字统计的范围比你预想的要大。
- Crawler 和 Category:爬虫的名称、运营方及其类别,例如 AI 爬虫、AI 助手或归档程序。
- Requests:允许的请求加上未成功的请求,并附趋势图。未成功的请求可能来自任何规则或响应错误,而不只是 AI Crawl Control 的屏蔽,所以如果你已放行的爬虫这个数字很高,说明有其他规则在起作用,或者你的源站出现了错误。
- Allowed requests:收到 200 到 299 之间状态码的请求。数据传输量根据 Cloudflare 为允许的请求发送的字节数计算。
- Robots.txt violations:该爬虫请求了你的 robots.txt 所禁止路径的次数。Cloudflare 会把过去的请求与你当前的规则进行比较,所以今天新增的规则可能会把当时被允许的请求标记为违规。
- Action:Allow、Block,或者对于参与 pay per crawl 测试版的账户,还有 Charge。
- Status code distribution:2xx、3xx、4xx 和 5xx。4xx 组包括屏蔽产生的 403 和 pay per crawl 产生的 402。
- Referrals 和 top referrers(仅限付费套餐):从 AI 服务(例如 chatgpt.com)来的访问,以及它们的着陆页面。
从你选择的操作出发解读报告。设为 Allow 的爬虫应该大多是允许的请求和 2xx 状态码。如果它有很多未成功的请求,请按该爬虫筛选查看状态码分布,并在 Security Analytics 中找出是哪条规则做出了响应。
如何在 Cloudflare 中放行 AI 搜索爬虫并屏蔽训练爬虫?
你可以按爬虫设置,也可以按行为设置。按爬虫设置时,打开 AI Crawl Control,为每一行设置 Action。Cloudflare 表示,在那里屏蔽会在你的区域中创建或更新一条 WAF 自定义规则,你可以在 WAF 中扩展这条规则来添加路径例外。在付费套餐中,你可以选择被屏蔽的爬虫收到 403 还是 402,并设置纯文本响应正文。
按行为设置时,依次进入 Security 和 Settings,按 Bot traffic 筛选,然后打开 AI Crawler and Agent access policies。Cloudflare 把 AI 流量分为三种行为,每条策略都适用于具有该行为的已验证机器人以及匹配的未验证机器人:
- Search:收集内容或为内容建立索引,以便之后回答问题。
- Agent:代表某人实时执行操作,例如聊天中的页面抓取和浏览器代理。
- Training:收集内容来训练或微调模型,包括同时用于训练和搜索的爬虫。
每种行为都可以设为 Block、Block on pages with ads 或 Allow (do not block)。Training 还有 Disallow 选项,它只通过 robots.txt 向爬虫提出请求。开启 Bot Preference Sync 后,Cloudflare 会在你的 robots.txt 开头添加托管规则,禁止 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot 和 meta-externalagent,添加一行 Content Signals,并在边缘屏蔽 AI 训练爬虫,但同时用于搜索和训练的爬虫除外。
对于大多数希望被 AI 引用的网站,稳妥的组合是 Search 和 Agent 设为 Allow,Training 设为 Disallow,然后在 AI Crawl Control 中对你想在边缘拦截的纯训练爬虫逐个设置 Block。
Cloudflare 的 AI 爬虫默认设置有哪些变化?
2025 年 7 月 1 日,Cloudflare 宣布将默认屏蔽 AI 爬虫,除非它们向创作者付费。2026 年 7 月 1 日,它用上面介绍的 Search、Agent 和 Training 三条独立策略取代了单一的 Block AI bots 开关,适用于包括 Free 在内的所有套餐。同一公告称,自 2026 年 9 月 15 日起接入的新域名,将在显示广告的页面上默认屏蔽 Training 和 Agent,并允许 Search。
Cloudflare 当前的策略文档(最后更新于 2026 年 11 月 2 日)称,新域名的三种行为默认都是 Allow (do not block)。由于 Cloudflare 自己的页面在不同时间描述过不同的默认值,不要依赖其中任何一个来判断你的区域:打开策略页面,看看实际设置了什么。
为什么我放行了 AI 爬虫,Cloudflare 仍在屏蔽它们?
AI Crawl Control 中的 Allow 操作只是让 AI Crawl Control 不再屏蔽。其他功能仍会对请求起作用。常见原因:
- 屏蔽 Training 也会屏蔽同时用于两种用途的搜索爬虫。Cloudflare 的文档表示,Training 操作适用于多用途爬虫,其 2026 年 7 月的公告点名了 Googlebot、Applebot 和 bingbot,屏蔽 Training 的客户自 2026 年 9 月 15 日起会屏蔽这些爬虫。Disallow 是范围更窄的选择,因为它的边缘屏蔽会跳过多用途爬虫。
- 开启了 Bot Fight Mode。Cloudflare 明确表示,你无法用 WAF 自定义规则或 Page Rules 绕过或跳过 Bot Fight Mode。如果它对爬虫发起质询,请将其关闭;如果你的套餐支持,可以改用支持跳过规则的 Super Bot Fight Mode。
- 旧的 WAF 自定义规则屏蔽了包含
bot的用户代理,或者速率限制规则对突发请求返回 429。无论 AI Crawl Control 中的 Action 如何,这些规则都会执行。 - 屏蔽规则被手动修改过。如果 AI Crawl Control 背后的 WAF 规则被改成了其他响应代码,控制台就无法再执行你的选择。
- robots.txt 仍然禁止该爬虫。Cloudflare 的 Allow 不会修改你的 robots.txt,所以守规矩的爬虫仍会远离。在我们对 1,000 个最热门域名的研究中,在 robots.txt 中屏蔽了 AI 训练爬虫的 155 个网站中,有 98 个同时屏蔽了至少一个 AI 搜索或用户爬虫。
如何从外部确认 Cloudflare 放行了哪些 AI 爬虫?
分别用浏览器的用户代理和每个爬虫的用户代理请求同一个页面,然后比较状态码和大小。下面的 OpenAI、Perplexity 和 Google 字符串是这些公司公布的字符串。
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 如果某个爬虫行显示 403、429 或 503,或者大小比浏览器行小得多,说明源站前面的某个环节给出了不同的响应。在 Free 套餐中,AI Crawl Control 按用户代理识别爬虫,所以这个测试可以较好地检验它的屏蔽。基于已验证机器人状态或机器人评分的规则,对待你的请求可能与对待真实爬虫不同,因为请求来自你的 IP 地址,而不是运营方公布的 IP 范围。测试完成后,在 Security Analytics 中找到你自己的请求,查看匹配的是哪条规则。
AISeeWhy 如何检查 Cloudflare 向 AI 爬虫发送了什么?
免费的 AISeeWhy 检测以 16 个 AI 和搜索爬虫的身份并结合真实浏览器请求你的页面,按爬虫应用你的 robots.txt,并识别防火墙验证页,让你看到 Cloudflare 控制台中的结果是否与爬虫实际收到的内容一致。
此问题的修复方法
下一步
本文涉及的爬虫
常见问题
Cloudflare AI Crawl Control 免费吗?
免费。Cloudflare 列出 AI Crawl Control 适用于所有套餐。Free 套餐只按用户代理识别爬虫,Metrics 只显示过去 24 小时;引荐数据和自定义屏蔽响应需要付费套餐。
Cloudflare AI Audit 怎么了?
它改名了。Cloudflare 的文档把 AI Crawl Control 描述为原来的 AI Audit,用途相同:查看哪些 AI 爬虫来访,并为每个爬虫设置操作。
在 AI Crawl Control 中屏蔽爬虫会修改我的 robots.txt 吗?
不会。Block 操作会创建或更新一条 WAF 自定义规则。只有在你为 Training 使用 Disallow 选项并开启 Bot Preference Sync 时,robots.txt 才会改变,此时 Cloudflare 会把托管规则添加到你文件的开头。
在 Cloudflare 中,什么算作 robots.txt 违规?
AI 爬虫对你的 robots.txt 所禁止路径发出的请求。Cloudflare 会把过去的请求与你当前的规则比较,所以新规则可能会把当时被允许的旧请求标记为违规。
什么是 pay per crawl?
一种 Charge 操作,要求 AI 爬虫按请求付费,否则返回 HTTP 402 和价格。Cloudflare 将其描述为封闭测试版,WAF 或 Bot Management 的屏蔽优先于它。
参考资料
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11