迁移到 Cloudflare 了?检测 AI 爬虫是否还能进来
在很多 Cloudflare 配置中,机器人防护、“Block AI bots”和 WAF 规则默认就是开启的。它们可能把 AI 搜索爬虫拒之门外,而你这边看不到任何错误。
免费 · 无需注册 · 30 秒出结果
是什么在拦截它们
Bot Fight Mode、AI 机器人拦截、托管质询,以及与爬虫的 user agent 或其网络匹配的自定义 WAF 规则。
我们检测什么
分别以 16 个 AI 和搜索爬虫的身份抓取你的页面,并与普通浏览器对照,附上状态码和显示拦截的 Cloudflare 响应头。
持续掌握情况
规则会变。监控会重新检测你的关键页面,一旦某个爬虫再次被挡在外面,就给你发邮件。