有多少網站公布 llms.txt?我們檢查了 10,000 個網域

發布於

簡短回答

在最熱門的 10,000 個網域中,12.4%(1,240 個)公布了 llms.txt;若只計算首頁回應 HTML 的網域,則為 16.7%。越大的網站越常公布。公布 llms.txt 的網站中,封鎖 AI 搜尋爬蟲的比例為 1.4%,沒有公布的網站則是 15.0%。這只統計了是否公布,並不能顯示任何 AI 助理是否會讀取這個檔案。

llms.txt 是 AI 搜尋領域中最常被討論的檔案之一,卻也是最少被量測的之一。我們先前已讀取前 10,000 個網域的 robots.txt,並在同一輪中向每個網域請求 /llms.txt。以下是回傳的結果。

本頁內容
  1. 我們是如何檢查的?
  2. 我們發現了什麼?
  3. 越大的網站公布得越多嗎?
  4. 誰會公布?
  5. 這些數據沒有顯示什麼?
  6. 你該公布嗎?

我們是如何檢查的?

我們取 Tranco 清單(清單 ID JZWZY)的前 10,000 個網域,於 2026 年 11 月 21 日以 AISeeWhy 自己的 user agent,在讀取首頁並跟隨其重新導向到主要主機之後,對每個網域各請求一次 /llms.txt。

當 /llms.txt 本身回應 200,內容為非空的文字(不是 HTML 頁面),且沒有被重新導向到登入頁或首頁等其他頁面時,我們才算該網域公布了 llms.txt。這次我們沒有檢查檔案的格式。

我們發現了什麼?

越大的網站公布得越多嗎?

是的,而且差距明顯。我們依 Tranco 排名將網站(首頁回應 HTML 的網域)分組:

誰會公布?

在提供 robots.txt 的 6,192 個網域中,公布 llms.txt 的網域與其餘網域看起來不同:

換句話說,願意費心公布 llms.txt 的網站,大多本來就已經讓 AI 爬蟲進入。

這些數據沒有顯示什麼?

它顯示的是關聯,不是因果。重視 AI 能見度的網站可能既公布 llms.txt,又讓 robots.txt 保持開放;這並不表示是這個檔案造成了差別。這個統計也只衡量是否公布,並不能顯示任何 AI 助理是否會讀取該檔案,而且主要的 AI 搜尋爬蟲也沒有說它們會使用它。

這些數字描述的是最熱門網域在某一天、某一個位址上的首頁規則與檔案。較小的網站可能會呈現不同的樣貌。

你該公布嗎?

它成本低又無害:用一份簡短的 Markdown 摘要介紹你的網站,並列出最有用的頁面。請保持內容正確,連結有效。但不要把它當成讓爬蟲進入網站的替代品:如果網站的防火牆拒絕爬蟲,或 robots.txt 禁止它,那麼 llms.txt 對誰都沒有幫助。

免費工具

下一步

常見問題

有多少比例的網站有 llms.txt?

在我們檢查的最熱門 10,000 個網域中,有 12.4% 公布了。若只看首頁回應 HTML 的網域,比例是 16.7%,而最大的網站更高:前 1,000 名中為 22.6%。

有 llms.txt 的網站比較常允許 AI 爬蟲嗎?

在我們的數據中是的:它們封鎖 AI 搜尋與使用者爬蟲的比例是 1.4%,沒有的網站則是 15.0%。這只是相關性,不能證明這個檔案會改變爬蟲對待網站的方式。

llms.txt 有助於我被 AI 助理引用嗎?

我們的數據無法回答。它統計的是哪些網站公布了這個檔案,而不是助理是否使用它,而主要的 AI 搜尋爬蟲也沒有表示它們會讀取。可被爬取的頁面與開放的存取更為重要。

如何判斷一個網站有沒有真正的 llms.txt?

請求 /llms.txt,確認該位址本身回應 200,且內容為文字而非 HTML 頁面。被重新導向到首頁或登入頁的,不是 llms.txt。

資料來源

更多文章