迁移到 Cloudflare 了?检测 AI 爬虫是否还能进来

在很多 Cloudflare 配置中,机器人防护、“Block AI bots”和 WAF 规则默认就是开启的。它们可能把 AI 搜索爬虫拒之门外,而你这边看不到任何错误。

免费 · 无需注册 · 30 秒出结果

是什么在拦截它们

Bot Fight Mode、AI 机器人拦截、托管质询,以及与爬虫的 user agent 或其网络匹配的自定义 WAF 规则。

我们检测什么

分别以 16 个 AI 和搜索爬虫的身份抓取你的页面,并与普通浏览器对照,附上状态码和显示拦截的 Cloudflare 响应头。

持续掌握情况

规则会变。监控会重新检测你的关键页面,一旦某个爬虫再次被挡在外面,就给你发邮件。

获取完整套餐

网站改版之后 · 迁移到 Shopify 之后 · 修改 robots.txt 之后