评分如何计算

AISeeWhy 测试 AI 爬虫和 AI 搜索能否读取并引用一个网页。所有影响评分的因素都列在本页。

公式

评分 = 100 − 15 × (P1 发现数) − 6 × (P2 发现数) − 2 × (P3 发现数)，最低为 0。当评分达到 70 或以上且没有 P1 发现时，页面被标记为对 AI 可见。

优先级

• P1，严重：AI 搜索或 AI 助手无法读取该页面，或无法信任其内容。
• P2，重要：页面更难被理解、找到或引用。
• P3，建议项，或一种策略选择，例如拦截收集训练数据的爬虫。

测试内容

• 以 16 种 AI 和搜索爬虫、curl 以及桌面浏览器的身份抓取页面，使用每个爬虫公布的 user agent。收到错误、验证挑战或与浏览器不同页面的爬虫，会连同 HTTP 状态和防火墙特征一并报告。
• 按照 RFC 9309 为每个爬虫令牌解析 robots.txt，包括从不作为 user agent 发送的令牌（Google-Extended、Applebot-Extended）。
• 检测页面的结构化数据（JSON-LD）、答案优先的内容、日期、站点地图、hreflang 替代页面和 llms.txt。
• 遇到临时故障（网络错误、429、5xx）的爬虫会先重试一次，再计入结果。

外部测试的局限

• 请求来自 AISeeWhy 的服务器，而不是爬虫所有者的 IP 地址。按 IP 信任真实爬虫的防火墙可能会拦截我们却放行它们，反之亦然。服务器日志检测能显示真实爬虫收到了什么响应。
• 不运行 JavaScript，因为 AI 爬虫也不运行。
• 一个 URL 就是一个页面。整个网站请使用批量审计或站点地图。
• 评分越高，技术障碍越少，但这并不保证 AI 助手会提及或引用你。

规则

当前规则版本：2026.11。每当规则、优先级或公式发生变化，版本都会更新，每份报告都会显示生成时所用的版本。