什麼是 llms.txt?值得加嗎?
llms.txt 是一份位於 /llms.txt 的 Markdown 提案檔,為 AI 工具提供網站的簡短摘要,以及最實用頁面的連結清單。它只是社群提案,並非標準,主要的 AI 搜尋爬蟲也沒有表示會使用它。新增成本很低,但無法取代可供爬取的 HTML。
llms.txt 受到很多關注,常被說成 AI 版的 robots.txt。其實兩者不同:robots.txt 聲明爬蟲可以擷取什麼,llms.txt 則是閱讀指引,告訴 AI 工具哪些內容值得讀。以下說明這項提案的內容、目前所知的使用情形,以及寫法。
本頁內容
llms.txt 從何而來?
Jeremy Howard 於 2024 年 9 月提出 /llms.txt 檔案,提案由 llmstxt.org 維護。它的目標是統一一個檔案,幫助語言模型與代理程式在推論時使用網站,例如程式輔助工具需要某個函式庫的文件時,而不是用於訓練。
這個想法回應的是真實存在的問題。網頁帶有導覽列、腳本、橫幅與版面。對模型來說,一份簡短、精心整理、附有乾淨版重點頁面連結的 Markdown 檔案,更適合在有限的上下文視窗內處理。
llms.txt 檔案包含哪些內容?
檔案是 Markdown,順序固定。只有第一個元素是必要的:
- H1,內容為網站或專案名稱(必要)。
- 引言區塊,用簡短文字說明網站是什麼。
- 選用的段落或清單,提供更多細節,不含標題。
- H2 區段,每個區段含一份
[name](url)格式的 Markdown 連結清單,後面可接冒號與備註。 - 選用的區段,名為
Optional,放次要連結,工具需要較少上下文時可以略過。
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)提案也建議在同一網址後加上 .md 提供頁面的 Markdown 版本,例如 page.html.md,讓工具能擷取乾淨的文字。
現在到底誰在讀 llms.txt?
這裡必須謹慎。llmstxt.org 網站表示,這類檔案最常用於軟體文件,由程式代理程式依循。就我們查閱的爬蟲文件而言,OpenAI、Anthropic、Google 與 Perplexity 並未把 llms.txt 列為其搜尋爬蟲使用的訊號。
Google 針對自家 Search 功能說得更明確。其關於 AI 總覽與 AI 模式的指引指出,你不需要建立新的機器可讀檔案、AI 文字檔或標記,就能出現在其中。對 Google Search 而言,llms.txt 沒有任何說明的作用。
所以誠實的答案是:有些 AI 工具,主要是被指向某個網站的程式輔助工具與代理程式,可能會讀取它。真正決定 AI 搜尋是否引用你頁面的爬蟲,是根據你的 HTML 運作的。
你可以自己確認有沒有東西在讀你的檔案。在伺服器或 CDN 日誌中搜尋對 /llms.txt 的請求,並查看 user agent。如果幾週都沒有請求,這比任何通則都更能說明它對你網站的價值。
還是應該加一份嗎?
對多數網站來說,這是成本低、確定性也低的附加項目。只需要幾分鐘,不會損害搜尋能見度,還可能幫到會去找它的代理程式。它對文件、開發者工具,以及擁有大量參考資料的產品最有用。
它做不到的是解決存取問題。如果防火牆封鎖 AI 爬蟲、robots.txt 禁止它們,或內容要等 JavaScript 執行後才出現,llms.txt 都無濟於事。請先解決這些問題。
如何寫出好的 llms.txt?
- 放在
https://yourdomain.com/llms.txt,並以純文字、狀態碼 200 提供,不要是 HTML 頁面。 - 摘要就像用兩句話向新同事介紹網站:它是什麼、給誰用。
- 列出能回答真實問題的頁面:產品、價格、文件、政策。略過標籤頁與彙整頁。
- 使用絕對網址,清單保持精簡才有用;對多數網站來說,幾十個連結就很足夠。
- 保持更新。連到已移除頁面的檔案,比沒有還糟。
- 不要用它來聲明權限。存取規則屬於 robots.txt。
AISeeWhy 如何看待 llms.txt?
AISeeWhy 會檢查你的網站是否有 llms.txt,以及被審查的頁面是否列在其中。由於目前 AI 爬蟲很少讀取它,缺少這個檔案屬於 P3 發現,也就是最低優先級,報告會附上一份依你的頁面標題、描述與 sitemap 產生的草稿,供你編輯後發布。
常見問題
llms.txt 是官方標準嗎?
不是。它是在 llmstxt.org 發布的社群提案,不是 IETF 或 W3C 標準,也沒有任何 AI 廠商有義務讀取它。
llms.txt 能阻擋 AI 訓練嗎?
不能。它是連結清單,不是權限設定。要退出訓練,請使用 robots.txt 中的訓練標記,例如 GPTBot、ClaudeBot 或 Google-Extended。
要出現在 Google AI 總覽,需要 llms.txt 嗎?
不需要。Google 表示,不必有 AI 文字檔或特殊標記,也能出現在 AI 總覽或 AI 模式。頁面必須已被索引,並符合顯示摘要的資格。
llms.txt 可以放在子資料夾嗎?
提案目前的版本允許在子路徑放置檔案,例如 /docs/llms.txt,涵蓋該路徑下的頁面。多數網站只需要在根目錄放一份。