✦ AI 爬虫访问检测与 AEO 审计

看清 AI 为何
看不到你的网站。

测试 AI 爬虫究竟如何访问你的内容,获得问题的清晰原因,并用现成的方案修复。

  • 真实的 AI 爬虫测试
  • 清晰的解释
  • 现成的修复方案

免费:每天 1 次检测。开启 7 天免费试用,即可获得完整报告。

AI 可访问性 示例

88/100
✓ AI 可见
✓阻断问题:0→
!改进建议:4→
✓检测通过:12→
检测所用 ChatGPTClaudeGeminiPerplexity
检查这些产品背后的爬虫ChatGPTClaudeGeminiPerplexityCopilotApple IntelligenceMeta AI
14AI 与搜索爬虫
8个检测领域
30种报告语言
RFC 9309按标准解析 robots.txt

真实的 AI 测试

我们用每个爬虫的真实 user agent 抓取你的页面,并与普通浏览器的结果对比。

清晰的原因

准确了解是什么阻止 AI 访问或使用你的内容:防火墙、robots.txt、标记还是内容。

可执行的修复

获得可直接应用的修改,附带代码、示例和优先级指引。

可衡量的进步

每次检测都有 0–100 的评分并保存在历史记录中,让你看到修复如何改善访问。

我们检查的 AI 产品

每个 AI 产品都用自己的爬虫读取网页。我们会以其中每一个的身份抓取您的页面,并展示各自拿到的内容。

ChatGPTGPTBot, OAI-SearchBot, ChatGPT-User
ClaudeClaudeBot, Claude-SearchBot, Claude-User
GeminiGoogle-Extended, Googlebot
PerplexityPerplexityBot, Perplexity-User
CopilotBingbot
Apple IntelligenceApplebot, Applebot-Extended
Meta AIMeta-ExternalAgent
▶ 产品导览

从问题到 AI 能用的网站。

一个流程,完成网站 AI 可访问性的检测、理解与修复。

  1. 1

    运行真实的 AI 测试

    查看主流 AI 爬虫如何访问你的页面。

  2. 2

    弄清问题所在

    获得附带证据的清晰、通俗的解释。

  3. 3

    应用修复

    使用可直接复制的代码和指引。

  4. 4

    跟踪结果

    再次检测,并在历史记录中对比评分。

报告是什么样子

示例页面:一个搜索爬虫被防火墙拦截,一个训练爬虫被策略禁止,另有两项检测需要改进。

评分如何计算

评分从 100 分开始。每条 P1 发现扣 15 分,每条 P2 扣 6 分,每条 P3 扣 2 分,最低为 0。页面没有 P1 发现且评分不低于 70,即视为 AI 可见。每条发现都附有证据,原因一目了然。

常见问题

为什么 AI 搜索看不到我的页面?

最常见的原因是防火墙或机器人防护对 AI 爬虫返回验证页或 403,而普通用户能正常打开页面。其他原因包括 robots.txt 规则、仅在 JavaScript 运行后才出现的内容,以及重定向到登录页。检测会分别以各爬虫和浏览器的身份抓取你的页面,并指出哪一个结果不同。

屏蔽 GPTBot 等训练爬虫是错误做法吗?

不是。GPTBot、ClaudeBot 和 CCBot 等训练爬虫为模型训练收集数据,屏蔽它们属于策略选择,因此报告将其列为 P3。OAI-SearchBot、Claude-SearchBot 和 Perplexity-User 等搜索及用户触发抓取的爬虫,决定了 AI 回答能否引用你的网站,屏蔽它们则是 P1。

检测结果能证明真实爬虫会得到什么吗?

不能完全证明。请求来自我们的服务器,带有各爬虫的 user agent,而不是来自厂商经过验证的 IP 段。结果反映的是你的防火墙如何对待该 user agent。按 IP 验证爬虫的防火墙可能会放行真正的爬虫,每条拦截发现中都会注明这一点。

检测要花多少钱?

每天一次检测免费,会显示评分和第一条发现。7 天免费试用无需信用卡,可解锁所有发现及其修复方法、历史记录和 API 密钥。之后 Pro 每月 $19。需要批量检测时,可按站点地图以按 URL 计费的方式运行同样的审计。

AI

让你的网站为下一代搜索做好准备。

开始免费试用 →查看价格
无需信用卡7 天完整权限