沒有給 AI 代理的 Markdown 版本
簡短回答
以 Accept: text/markdown 請求頁面時,伺服器回傳了 HTML,頁面也沒有連結 Markdown 副本。AI 代理只能讀取整個 HTML,連選單、頁尾和指令碼都包含在內。提供 Markdown 版本是選用的:這仍是新興慣例,所以屬於 P3。
代表什麼
以 Accept: text/markdown 請求時,頁面回傳的是 HTML,也沒有連結 Markdown 副本(<link rel="alternate" type="text/markdown">)。AI 代理只能讀取整個 HTML,連選單和指令碼都包含在內。選用:給代理的 Markdown 仍是新興慣例,並非標準。
為什麼這對 AI 搜尋很重要
替使用者瀏覽網頁的 AI 代理(以及把頁面載入模型上下文的工具)處理的是文字,而不是版面。乾淨的 Markdown 版本比 HTML 小好幾倍,同時保留重要的標題、清單和連結。部分 CDN 和框架已經會用這種版本回應 Accept: text/markdown,llmstxt.org 也建議在每個頁面旁放一份 .md 副本。
沒有它也不會壞掉:爬蟲仍會讀取 HTML。在修正存取、robots.txt 和內容方面的發現之後,這是一項成本很低的改善。
如何修正
- 選一種提供 Markdown 的方式:在頁面本身的 URL 回應
Accept: text/markdown,或發布一份副本,例如/guide/index.md。 - 如果使用 CDN,且它有給 AI 代理的 Markdown 轉換功能,就將它開啟。在框架中,加入一個中介軟體,在
Accept標頭要求text/markdown時回傳 Markdown 版本。 - 傳送
Content-Type: text/markdown; charset=utf-8;如果 URL 與 HTML 頁面相同,也要傳送Vary: Accept。 - 在 HTML head 中以
<link rel="alternate" type="text/markdown">連結該副本,讓不做內容協商的代理也找得到。 - 在頁面報告上按「再次檢查」確認結果。
範例
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept 如何確認修正
修改後,在報告上按下「再次檢查」:它會列出已修正的項目以及分數的變化。