什麼是 llms-full.txt?該在 llms.txt 旁邊發布一個嗎?
llms-full.txt 是一個單一文字檔,收錄網站文件的完整內容,通常是 Markdown 格式,與簡短的 /llms.txt 索引放在一起發布。它不屬於 llmstxt.org 上的 llms.txt 提案,而是文件網站採用的一種慣例。如果你經營的是開發者文件,而代理程式會整批載入,就可以發布一個;對大多數商業網站來說,一個好的 llms.txt 加上乾淨的頁面就夠了。
我們介紹 llms.txt 是什麼的文章,說明了這個索引檔案本身:它的格式、由來,以及誰會讀取它。這篇則是關於它的大兄弟。如果你在某個文件網站上看到過 llms-full.txt,或某個檢查工具問你有沒有這個檔案,以下說明這個檔案是什麼、提案說了什麼、沒說什麼,以及它值不值得花工夫。
本頁內容
llms-full.txt 是 llms.txt 規格的一部分嗎?
不是。llmstxt.org 上的提案目前是第 2 版(2026 年 8 月 10 日修訂),只定義了名為 llms.txt 的檔案,可以放在網站根目錄或任何路徑下,每個檔案涵蓋其路徑底下的頁面。它也提議為個別頁面提供 Markdown 版本,網址是在頁面網址後加上 .md(page.html.md),或替換副檔名(page.md),沒有檔名的網址則使用 index.html.md 或 index.md。
收錄所有內容的單一檔案,在規格中完全沒有出現。第 1 版描述了一個工具 llms_txt2ctx,可以把 llms.txt 展開成一個上下文檔案。第 2 版把這個工具從提案中移除,改為說明預期的用法:代理程式讀取或搜尋 llms.txt,然後跟隨它們需要的連結。提案自己的範例 FastHTML 文件,仍然提供一個名為 llms-ctx-full.txt 的展開檔案。
所以 llms-full.txt 只是一種命名慣例。除了「所有頁面一個接一個」之外,沒有公認的格式。
llms-full.txt 和 llms.txt 及 .md 頁面有什麼不同?
提案第 2 版新增了一種方式,讓代理程式透過 HTTP 標頭或頁面 HTML 中的標準連結關係,找到頁面的 Markdown 版本以及涵蓋它的 llms.txt:
llms.txt是一個索引:一個標題、一段摘要和幾份連結清單。提案表示,它應該保持小到能放進模型的上下文中。.md頁面是單一頁面的乾淨副本。它們屬於提案的一部分,代理程式只會擷取它需要的那些。llms-full.txt是把每個頁面合併成一個檔案。代理程式只要一次請求就能取得全部內容,代價是檔案很大。
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt 沒有對應的連結關係。發布它的網站通常會從自己的 llms.txt 連結過去。
哪些網站有發布 llms-full.txt?
主要是開發者文件網站。我們在 2026 年 11 月 17 日檢查時,以下檔案都在線上:
- Cloudflare:
developers.cloudflare.com/llms-full.txt,約 71 MB。它的根目錄 llms.txt 為 17 KB,並連結到每個產品各自的 llms.txt。 - Anthropic:
platform.claude.com/llms-full.txt,約 53 MB。102 KB 的 llms.txt 在最後連結到它。 - OpenAI:
developers.openai.com/llms-full.txt,約 9.7 MB,檔案中描述自己是單一檔案的 Markdown 匯出。它的 llms.txt 為 6 KB。 - Perplexity:
docs.perplexity.ai/llms-full.txt,約 4 MB,每個頁面都有一行Source:標出該頁網址。它的 llms.txt 為 46 KB。
這四個都是 API 與產品文件,讀者是開發者和程式設計代理程式。我們在 2026 年 11 月對最受歡迎的 1,000 個網域所做的研究中沒有統計 llms-full.txt;其中有 132 個發布了 llms.txt,而這些當中有 117 個遵循 llmstxt.org 的格式。
AI 爬蟲會讀取 llms.txt 或 llms-full.txt 嗎?
我們找不到任何文件這樣說。OpenAI、Anthropic 與 Perplexity 的爬蟲頁面介紹了它們的機器人與 robots.txt 標記,但都沒有說這些爬蟲會讀取其他網站上的 llms.txt 或 llms-full.txt。Google 表示,要出現在 AI Overviews 或 AI Mode 中,你不需要建立新的機器可讀檔案、AI 文字檔或標記。
為自家文件發布這些檔案,不等於會讀取你的檔案。llmstxt.org 表示,這些檔案最常用於軟體文件,由程式設計代理程式跟隨使用。Chrome 的 Lighthouse 包含一項 llms.txt 稽核,但它只會在擷取 /llms.txt 發生伺服器錯誤時標記;檔案不存在則算作不適用,而且這項稽核沒有提到 llms-full.txt。
如果你想要自己網站的證據,請在伺服器日誌中搜尋對 /llms-full.txt 的請求,看看是哪些 user agent。
llms-full.txt 可以多大?
沒有記載任何上限,因為沒有任何規格定義這個檔案。實際的限制在於讀取者。llmstxt.org 指出,上下文視窗雖然比以前大,但對大多數網站的完整內容來說仍然太小。好幾 MB 的檔案無法一次讀完,所以代理程式必須搜尋它或分段讀取,而這正是 llms.txt 索引和 .md 頁面本來就能做到的。
如果你還是要發布:
- 依產品或章節拆分大型文件,就像 Cloudflare 為每個產品提供 llms.txt 那樣,而不是發布一個巨大的檔案。
- 在每個頁面上方放上來源網址,讓根據這個檔案產生的答案仍能指向正確的頁面。
- 只收錄公開內容。這個檔案很容易被整份複製,而且 robots.txt 規則對它和其他網址一樣適用,包括對訓練爬蟲的封鎖。
- 每次部署時重新產生。過時的完整副本比沒有更糟,因為它會把過時的事實集中在一個方便取用的地方。
如何產生和檢查 llms-full.txt?
從一個有效的 llms.txt 和頁面的 Markdown 版本開始;接下來 llms-full.txt 就只是一個建置步驟。這個指令碼會讀取你的 llms.txt,擷取其中連結的每個 .md 頁面,並在合併時為每個頁面加上一行來源:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") 接著檢查結果。這個檔案應該以 text/plain 或 text/markdown 傳回狀態 200,而不是 HTML 頁面,而且頁面數應該與你的 llms.txt 中的連結數相符。免費的 AISeeWhy llms.txt 產生器可以幫你撰寫索引,免費的 llms.txt 驗證器則會依照 llmstxt.org 的格式檢查它:標題、摘要、章節與連結,並為每個問題標出行號。llms-full.txt 沒有可以驗證的格式,所以上面這些檢查才是有用的。
llms-full.txt 應該優先處理嗎?
對大多數網站來說,不必。這兩個檔案都只有在讀取者能連到你的頁面之後才有幫助。免費的 AISeeWhy 檢查會以 16 個 AI 與搜尋爬蟲的身分,連同瀏覽器一起擷取頁面,並顯示是否有 robots.txt、防火牆或 JavaScript 擋住它們,這對 AI 能見度的影響比任何一個文字檔都大。
此問題的修正方法
下一步
常見問題
llms.txt 提案要求 llms-full.txt 嗎?
不要求。提案定義的是 llms.txt 與頁面的 Markdown 版本。llms-full.txt 是一些文件網站遵循的慣例。
llm.txt 和 llms.txt 有什麼不同?
提案的檔名是 llms.txt,有一個 s。位於 /llm.txt 的檔案不符合提案,尋找 llms.txt 的工具也找不到它。
llms-full.txt 應該放在哪裡?
沒有規格說明。上面的範例都把它放在文件網站根目錄、llms.txt 的旁邊,並從 llms.txt 連結過去,讓讀取者找得到。
llms-full.txt 對 Google AI Overviews 有幫助嗎?
Google 表示,要出現在 AI Overviews 或 AI Mode 中,你不需要新的機器可讀檔案或 AI 文字檔。頁面必須已被索引,且符合顯示摘要的資格。
可以用 llms.txt 檢查工具檢查 llms-full.txt 嗎?
只能檢查一部分。llms.txt 檢查工具驗證的是索引格式,而完整內容檔案並不遵循這種格式。對於 llms-full.txt,請檢查狀態碼、內容類型、大小,以及它是否與你目前的頁面一致。
資料來源
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy:AI 爬蟲存取報告,2026-11