没有面向 AI 智能体的 Markdown 版本
简短回答
用 Accept: text/markdown 请求页面时,服务器返回了 HTML,页面也没有链接 Markdown 副本。AI 智能体只能读取整个 HTML,连菜单、页脚和脚本也包括在内。提供 Markdown 版本是可选的:这还是一种新兴惯例,所以这是 P3。
含义
用 Accept: text/markdown 请求时,页面返回的是 HTML,也没有链接 Markdown 副本(<link rel="alternate" type="text/markdown">)。智能体只能读取整个 HTML,连菜单和脚本也包括在内。可选:面向智能体的 Markdown 还是一种新兴惯例,并非标准。
为什么这对 AI 搜索很重要
替用户浏览网页的智能体(以及把页面载入模型上下文的工具)处理的是文本,而不是布局。干净的 Markdown 版本比 HTML 小好几倍,同时保留了重要的标题、列表和链接。一些 CDN 和框架已经会用这样的版本响应 Accept: text/markdown,llmstxt.org 也建议在每个页面旁边放一份 .md 副本。
没有它也不会出问题:爬虫仍然会读取 HTML。在修复访问、robots.txt 和内容方面的发现之后,这是一项成本很低的改进。
如何修复
- 选择一种提供 Markdown 的方式:在页面自身的 URL 上响应
Accept: text/markdown,或发布一份副本,例如/guide/index.md。 - 如果使用 CDN,且它提供面向智能体的 Markdown 转换功能,就将其开启。在框架中,添加一个中间件,在
Accept标头请求text/markdown时返回 Markdown 版本。 - 发送
Content-Type: text/markdown; charset=utf-8;如果 URL 与 HTML 页面相同,还要发送Vary: Accept。 - 在 HTML head 中用
<link rel="alternate" type="text/markdown">链接该副本,让不做内容协商的智能体也能找到它。 - 在页面报告中点击“再次检测”确认结果。
示例
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept 如何确认修复
修改后,在报告上点击“再次检测”:它会列出已修复的内容以及评分的变化。