有多少網站公布 llms.txt?我們檢查了 10,000 個網域
在最熱門的 10,000 個網域中,12.4%(1,240 個)公布了 llms.txt;若只計算首頁回應 HTML 的網域,則為 16.7%。越大的網站越常公布。公布 llms.txt 的網站中,封鎖 AI 搜尋爬蟲的比例為 1.4%,沒有公布的網站則是 15.0%。這只統計了是否公布,並不能顯示任何 AI 助理是否會讀取這個檔案。
llms.txt 是 AI 搜尋領域中最常被討論的檔案之一,卻也是最少被量測的之一。我們先前已讀取前 10,000 個網域的 robots.txt,並在同一輪中向每個網域請求 /llms.txt。以下是回傳的結果。
我們是如何檢查的?
我們取 Tranco 清單(清單 ID JZWZY)的前 10,000 個網域,於 2026 年 11 月 21 日以 AISeeWhy 自己的 user agent,在讀取首頁並跟隨其重新導向到主要主機之後,對每個網域各請求一次 /llms.txt。
當 /llms.txt 本身回應 200,內容為非空的文字(不是 HTML 頁面),且沒有被重新導向到登入頁或首頁等其他頁面時,我們才算該網域公布了 llms.txt。這次我們沒有檢查檔案的格式。
我們發現了什麼?
- 10,000 個網域中,有 1,240 個(12.4%)公布了
llms.txt。 - 這份清單包含不提供網站的 CDN 和 API 主機。在首頁回應 HTML 的 7,367 個網域中,有 1,233 個(16.7%)公布了。
- 它們幾乎都同時提供 robots.txt:1,240 個中有 1,229 個。
越大的網站公布得越多嗎?
是的,而且差距明顯。我們依 Tranco 排名將網站(首頁回應 HTML 的網域)分組:
- 第 1 至 1,000 名:22.6% 公布了 llms.txt(658 個網站中的 149 個)。
- 第 1,001 至 3,000 名:18.2%(1,449 個中的 264 個)。
- 第 3,001 至 10,000 名:15.6%(5,260 個中的 820 個)。
誰會公布?
在提供 robots.txt 的 6,192 個網域中,公布 llms.txt 的網域與其餘網域看起來不同:
- 它們封鎖至少一個 AI 訓練爬蟲的比例是 11.8%,沒有 llms.txt 的網域則是 26.0%。
- 它們封鎖至少一個 AI 搜尋或使用者爬蟲的比例是 1.4%,對比 15.0%。
- 它們使用
Content-Signal行的比例是 12.9%,對比 4.9%。
換句話說,願意費心公布 llms.txt 的網站,大多本來就已經讓 AI 爬蟲進入。
這些數據沒有顯示什麼?
它顯示的是關聯,不是因果。重視 AI 能見度的網站可能既公布 llms.txt,又讓 robots.txt 保持開放;這並不表示是這個檔案造成了差別。這個統計也只衡量是否公布,並不能顯示任何 AI 助理是否會讀取該檔案,而且主要的 AI 搜尋爬蟲也沒有說它們會使用它。
這些數字描述的是最熱門網域在某一天、某一個位址上的首頁規則與檔案。較小的網站可能會呈現不同的樣貌。
你該公布嗎?
它成本低又無害:用一份簡短的 Markdown 摘要介紹你的網站,並列出最有用的頁面。請保持內容正確,連結有效。但不要把它當成讓爬蟲進入網站的替代品:如果網站的防火牆拒絕爬蟲,或 robots.txt 禁止它,那麼 llms.txt 對誰都沒有幫助。
下一步
常見問題
有多少比例的網站有 llms.txt?
在我們檢查的最熱門 10,000 個網域中,有 12.4% 公布了。若只看首頁回應 HTML 的網域,比例是 16.7%,而最大的網站更高:前 1,000 名中為 22.6%。
有 llms.txt 的網站比較常允許 AI 爬蟲嗎?
在我們的數據中是的:它們封鎖 AI 搜尋與使用者爬蟲的比例是 1.4%,沒有的網站則是 15.0%。這只是相關性,不能證明這個檔案會改變爬蟲對待網站的方式。
llms.txt 有助於我被 AI 助理引用嗎?
我們的數據無法回答。它統計的是哪些網站公布了這個檔案,而不是助理是否使用它,而主要的 AI 搜尋爬蟲也沒有表示它們會讀取。可被爬取的頁面與開放的存取更為重要。
如何判斷一個網站有沒有真正的 llms.txt?
請求 /llms.txt,確認該位址本身回應 200,且內容為文字而非 HTML 頁面。被重新導向到首頁或登入頁的,不是 llms.txt。
資料來源
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers