AI 爬虫监控

一条防火墙规则、一项 CDN 设置或一份新的 robots.txt,可能在一夜之间把 AI 爬虫挡在门外,而在人们看来网站一切正常。监控会重新检查你的重要页面,并在出现新的拦截时给你发邮件。

免费 · 无需注册 · 30 秒出结果

套餐与价格 → 查看完整报告示例 →

本文由机器从英文翻译而来。

监控检查什么

每次运行的检查与我们首页上的免费检查相同。你的页面会以 16 个 AI 与搜索爬虫、curl 和桌面浏览器的身份被抓取,各自使用公布的 user agent。系统会针对每个爬虫标识评估 robots.txt,并检查页面的结构化数据、内容、日期、sitemap、hreflang 和 llms.txt。结果是 0 到 100 的评分,以及按 P1 到 P3 划分优先级的发现列表。

什么时候会收到邮件

受监控的页面会按你的选择每天或每周重新检查。当出现新的拦截问题时,例如某个爬虫现在收到 403 或挑战页,或者评分下降 10 分或以上,你会收到邮件。邮件会说明发生了什么变化,并附上包含修复方法的报告链接。

它看不到什么

请求来自我们的服务器,使用每个爬虫的 user agent,而不是来自爬虫运营方自己的 IP 地址。按 IP 信任真实爬虫的防火墙可能会对它们和对我们区别对待,每条拦截发现都会注明这一点。要查看真实爬虫得到的响应,付费套餐的服务器日志检查会读取你的访问日志,统计每个 AI 爬虫的访问次数和状态码。

包含监控的套餐

免费套餐不含监控:每天可检查一次,显示评分和第一条发现。套餐按月计费,可随时取消,每笔付款在 14 天内均可全额退款。

如何开始

  1. 对你最重要的页面运行免费检查,看看第一条发现。
  2. 在价格页面选择套餐,并用你的邮箱登录。
  3. 在账户的“监控”中添加要关注的页面:首页、价格页、主要产品或服务页以及关键文章。
  4. 选择每天或每周。修复之后,重新检查页面,查看修复前后的评分。

常见问题

哪些变化会触发提醒?

受监控页面上出现新的拦截问题,例如某个爬虫现在被拒绝,或者评分比上次检查下降 10 分或以上。

监控使用的是真正的 GPTBot 或 ClaudeBot 吗?

不是。它从我们的服务器发送这些爬虫公布的 user agent。这能显示你的防火墙和服务器如何对待这些 user agent;服务器日志检查则显示真实的访问。

可以监控客户网站吗?

可以,Business、Agency 和 Enterprise 套餐支持。Pro 仅限个人非商业用途。

付费前可以试用吗?

免费检查会显示一次运行能在任何页面上发现什么。监控本身需要付费套餐,你可以随时取消,并在 14 天内获得退款。

相关工具与指南