如何解读 Cloudflare AI Crawl Control 报告,查看哪些 AI 爬虫能进入

发布于

简短回答

在 Cloudflare 控制台中打开 AI Crawl Control:爬虫列表显示 Cloudflare 在你的域名上见过的每个 AI 爬虫、其请求数、robots.txt 违规次数,以及操作是 Allow 还是 Block。要保留 AI 搜索、拒绝训练,请在这里或在 AI Crawler and Agent access policies 中放行搜索和代理类爬虫,并屏蔽或禁止训练爬虫。然后从外部用 curl 确认,因为 Cloudflare 的其他功能仍可能屏蔽你已放行的爬虫。

Cloudflare 现在有两个地方决定 AI 爬虫能拿到什么:一个是 AI Crawl Control,即以前叫 AI Audit 的按爬虫报告和控制面板;另一个是“安全性”设置中适用于整个区域的 AI Crawler and Agent access policies。两者在 Free 套餐中都可用,都在 2026 年有过变化,而且都不会告诉你其他所有仍可能对爬虫返回 403 的功能。本指南逐列讲解报告,说明在哪里设置允许和屏蔽,最后给出一个可以在你自己电脑上运行的测试。

本页内容
  1. Cloudflare 的 AI 爬虫报告在哪里?
  2. AI Crawl Control 报告中的每一列和每个指标是什么意思?
  3. 如何在 Cloudflare 中放行 AI 搜索爬虫并屏蔽训练爬虫?
  4. Cloudflare 的 AI 爬虫默认设置有哪些变化?
  5. 为什么我放行了 AI 爬虫,Cloudflare 仍在屏蔽它们?
  6. 如何从外部确认 Cloudflare 放行了哪些 AI 爬虫?
  7. AISeeWhy 如何检查 Cloudflare 向 AI 爬虫发送了什么?

Cloudflare 的 AI 爬虫报告在哪里?

在控制台中选择你的账户和域名,然后打开 AI Crawl Control。Cloudflare 表示,它无需配置即可使用,适用于所有套餐,只要你域名的流量经过 Cloudflare 代理即可。它有四个区域:

解读数字时有两个套餐限制需要注意。在 Free 套餐中,AI Crawl Control 只通过用户代理字符串识别爬虫,所以它只能看到自报身份的爬虫,Metrics 标签页也只涵盖过去 24 小时。付费套餐增加了通过 Bot Management 检测 ID 进行的识别,带 Bot Management 的 Enterprise 套餐还可以自定义时间范围。

AI Crawl Control 报告中的每一列和每个指标是什么意思?

Cloudflare 对这些字段的说明如下。定义很重要,因为有几个数字统计的范围比你预想的要大。

从你选择的操作出发解读报告。设为 Allow 的爬虫应该大多是允许的请求和 2xx 状态码。如果它有很多未成功的请求,请按该爬虫筛选查看状态码分布,并在 Security Analytics 中找出是哪条规则做出了响应。

如何在 Cloudflare 中放行 AI 搜索爬虫并屏蔽训练爬虫?

你可以按爬虫设置,也可以按行为设置。按爬虫设置时,打开 AI Crawl Control,为每一行设置 Action。Cloudflare 表示,在那里屏蔽会在你的区域中创建或更新一条 WAF 自定义规则,你可以在 WAF 中扩展这条规则来添加路径例外。在付费套餐中,你可以选择被屏蔽的爬虫收到 403 还是 402,并设置纯文本响应正文。

按行为设置时,依次进入 Security 和 Settings,按 Bot traffic 筛选,然后打开 AI Crawler and Agent access policies。Cloudflare 把 AI 流量分为三种行为,每条策略都适用于具有该行为的已验证机器人以及匹配的未验证机器人:

每种行为都可以设为 Block、Block on pages with ads 或 Allow (do not block)。Training 还有 Disallow 选项,它只通过 robots.txt 向爬虫提出请求。开启 Bot Preference Sync 后,Cloudflare 会在你的 robots.txt 开头添加托管规则,禁止 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot 和 meta-externalagent,添加一行 Content Signals,并在边缘屏蔽 AI 训练爬虫,但同时用于搜索和训练的爬虫除外。

对于大多数希望被 AI 引用的网站,稳妥的组合是 Search 和 Agent 设为 Allow,Training 设为 Disallow,然后在 AI Crawl Control 中对你想在边缘拦截的纯训练爬虫逐个设置 Block。

Cloudflare 的 AI 爬虫默认设置有哪些变化?

2025 年 7 月 1 日,Cloudflare 宣布将默认屏蔽 AI 爬虫,除非它们向创作者付费。2026 年 7 月 1 日,它用上面介绍的 Search、Agent 和 Training 三条独立策略取代了单一的 Block AI bots 开关,适用于包括 Free 在内的所有套餐。同一公告称,自 2026 年 9 月 15 日起接入的新域名,将在显示广告的页面上默认屏蔽 Training 和 Agent,并允许 Search。

Cloudflare 当前的策略文档(最后更新于 2026 年 11 月 2 日)称,新域名的三种行为默认都是 Allow (do not block)。由于 Cloudflare 自己的页面在不同时间描述过不同的默认值,不要依赖其中任何一个来判断你的区域:打开策略页面,看看实际设置了什么。

为什么我放行了 AI 爬虫,Cloudflare 仍在屏蔽它们?

AI Crawl Control 中的 Allow 操作只是让 AI Crawl Control 不再屏蔽。其他功能仍会对请求起作用。常见原因:

如何从外部确认 Cloudflare 放行了哪些 AI 爬虫?

分别用浏览器的用户代理和每个爬虫的用户代理请求同一个页面,然后比较状态码和大小。下面的 OpenAI、Perplexity 和 Google 字符串是这些公司公布的字符串。

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

如果某个爬虫行显示 403、429 或 503,或者大小比浏览器行小得多,说明源站前面的某个环节给出了不同的响应。在 Free 套餐中,AI Crawl Control 按用户代理识别爬虫,所以这个测试可以较好地检验它的屏蔽。基于已验证机器人状态或机器人评分的规则,对待你的请求可能与对待真实爬虫不同,因为请求来自你的 IP 地址,而不是运营方公布的 IP 范围。测试完成后,在 Security Analytics 中找到你自己的请求,查看匹配的是哪条规则。

AISeeWhy 如何检查 Cloudflare 向 AI 爬虫发送了什么?

免费的 AISeeWhy 检测以 16 个 AI 和搜索爬虫的身份并结合真实浏览器请求你的页面,按爬虫应用你的 robots.txt,并识别防火墙验证页,让你看到 Cloudflare 控制台中的结果是否与爬虫实际收到的内容一致。

此问题的修复方法

免费工具

下一步

本文涉及的爬虫

常见问题

Cloudflare AI Crawl Control 免费吗?

免费。Cloudflare 列出 AI Crawl Control 适用于所有套餐。Free 套餐只按用户代理识别爬虫,Metrics 只显示过去 24 小时;引荐数据和自定义屏蔽响应需要付费套餐。

Cloudflare AI Audit 怎么了?

它改名了。Cloudflare 的文档把 AI Crawl Control 描述为原来的 AI Audit,用途相同:查看哪些 AI 爬虫来访,并为每个爬虫设置操作。

在 AI Crawl Control 中屏蔽爬虫会修改我的 robots.txt 吗?

不会。Block 操作会创建或更新一条 WAF 自定义规则。只有在你为 Training 使用 Disallow 选项并开启 Bot Preference Sync 时,robots.txt 才会改变,此时 Cloudflare 会把托管规则添加到你文件的开头。

在 Cloudflare 中,什么算作 robots.txt 违规?

AI 爬虫对你的 robots.txt 所禁止路径发出的请求。Cloudflare 会把过去的请求与你当前的规则比较,所以新规则可能会把当时被允许的旧请求标记为违规。

什么是 pay per crawl?

一种 Charge 操作,要求 AI 爬虫按请求付费,否则返回 HTTP 402 和价格。Cloudflare 将其描述为封闭测试版,WAF 或 Bot Management 的屏蔽优先于它。

参考资料

更多文章