没有面向 AI 智能体的 Markdown 版本

简短回答

用 Accept: text/markdown 请求页面时,服务器返回了 HTML,页面也没有链接 Markdown 副本。AI 智能体只能读取整个 HTML,连菜单、页脚和脚本也包括在内。提供 Markdown 版本是可选的:这还是一种新兴惯例,所以这是 P3。

agent.no_markdown · 优先级: P3

含义

用 Accept: text/markdown 请求时,页面返回的是 HTML,也没有链接 Markdown 副本(<link rel="alternate" type="text/markdown">)。智能体只能读取整个 HTML,连菜单和脚本也包括在内。可选:面向智能体的 Markdown 还是一种新兴惯例,并非标准。

为什么这对 AI 搜索很重要

替用户浏览网页的智能体(以及把页面载入模型上下文的工具)处理的是文本,而不是布局。干净的 Markdown 版本比 HTML 小好几倍,同时保留了重要的标题、列表和链接。一些 CDN 和框架已经会用这样的版本响应 Accept: text/markdown,llmstxt.org 也建议在每个页面旁边放一份 .md 副本。

没有它也不会出问题:爬虫仍然会读取 HTML。在修复访问、robots.txt 和内容方面的发现之后,这是一项成本很低的改进。

如何修复

  1. 选择一种提供 Markdown 的方式:在页面自身的 URL 上响应 Accept: text/markdown,或发布一份副本,例如 /guide/index.md。
  2. 如果使用 CDN,且它提供面向智能体的 Markdown 转换功能,就将其开启。在框架中,添加一个中间件,在 Accept 标头请求 text/markdown 时返回 Markdown 版本。
  3. 发送 Content-Type: text/markdown; charset=utf-8;如果 URL 与 HTML 页面相同,还要发送 Vary: Accept。
  4. 在 HTML head 中用 <link rel="alternate" type="text/markdown"> 链接该副本,让不做内容协商的智能体也能找到它。
  5. 在页面报告中点击“再次检测”确认结果。

示例

<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">

# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept

如何确认修复

修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。

检测我的页面 →

相关指南

所有发现及评分计算方式