AI 爬虫监控
一条防火墙规则、一项 CDN 设置或一份新的 robots.txt,可能在一夜之间把 AI 爬虫挡在门外,而在人们看来网站一切正常。监控会重新检查你的重要页面,并在出现新的拦截时给你发邮件。
免费 · 无需注册 · 30 秒出结果
本文由机器从英文翻译而来。
监控检查什么
每次运行的检查与我们首页上的免费检查相同。你的页面会以 16 个 AI 与搜索爬虫、curl 和桌面浏览器的身份被抓取,各自使用公布的 user agent。系统会针对每个爬虫标识评估 robots.txt,并检查页面的结构化数据、内容、日期、sitemap、hreflang 和 llms.txt。结果是 0 到 100 的评分,以及按 P1 到 P3 划分优先级的发现列表。
什么时候会收到邮件
受监控的页面会按你的选择每天或每周重新检查。当出现新的拦截问题时,例如某个爬虫现在收到 403 或挑战页,或者评分下降 10 分或以上,你会收到邮件。邮件会说明发生了什么变化,并附上包含修复方法的报告链接。
它看不到什么
请求来自我们的服务器,使用每个爬虫的 user agent,而不是来自爬虫运营方自己的 IP 地址。按 IP 信任真实爬虫的防火墙可能会对它们和对我们区别对待,每条拦截发现都会注明这一点。要查看真实爬虫得到的响应,付费套餐的服务器日志检查会读取你的访问日志,统计每个 AI 爬虫的访问次数和状态码。
包含监控的套餐
- Pro,每月 $22:3 个受监控页面,适用于个人非商业网站。
- Business,每月 $88:25 个受监控页面,适用于公司网站和客户项目。
- Agency,每月 $288:60 个受监控页面,适用于众多客户网站。
- Enterprise,每月 $888:100 个受监控页面。
免费套餐不含监控:每天可检查一次,显示评分和第一条发现。套餐按月计费,可随时取消,每笔付款在 14 天内均可全额退款。
如何开始
- 对你最重要的页面运行免费检查,看看第一条发现。
- 在价格页面选择套餐,并用你的邮箱登录。
- 在账户的“监控”中添加要关注的页面:首页、价格页、主要产品或服务页以及关键文章。
- 选择每天或每周。修复之后,重新检查页面,查看修复前后的评分。
常见问题
哪些变化会触发提醒?
受监控页面上出现新的拦截问题,例如某个爬虫现在被拒绝,或者评分比上次检查下降 10 分或以上。
监控使用的是真正的 GPTBot 或 ClaudeBot 吗?
不是。它从我们的服务器发送这些爬虫公布的 user agent。这能显示你的防火墙和服务器如何对待这些 user agent;服务器日志检查则显示真实的访问。
可以监控客户网站吗?
可以,Business、Agency 和 Enterprise 套餐支持。Pro 仅限个人非商业用途。
付费前可以试用吗?
免费检查会显示一次运行能在任何页面上发现什么。监控本身需要付费套餐,你可以随时取消,并在 14 天内获得退款。