我們讀了最熱門 10,000 個網站的 robots.txt,看它們如何對待 AI 爬蟲

發布於

簡短回答

在 Tranco 前 10,000 名中,有提供 robots.txt 的 6,192 個網域裡,23.2% 封鎖至少一個 AI 訓練爬蟲,12.3% 封鎖至少一個 AI 搜尋或使用者爬蟲。封鎖訓練的網站中,有 51.6% 也封鎖 AI 搜尋。只有 11.2% 選擇退出訓練、同時允許所有 AI 搜尋爬蟲。

11 月時,我們讀了最熱門 1,000 個網域的 robots.txt。這次我們用相同的方法讀了 10,000 個,並增加檢查:網站越小,情況會有什麼變化。主要結論依然成立:封鎖訓練和封鎖搜尋被當成同一個決定,但其實是兩個決定。

本頁內容
  1. 我們是如何衡量的?
  2. 我們發現了什麼?
  3. 哪些爬蟲最常被封鎖?
  4. 越大的網站封鎖得越多嗎?
  5. 自 11 月 12 日的報告以來有什麼變化嗎?
  6. 這對你的 robots.txt 有什麼意義?
  7. 這些數字有多可靠?

我們是如何衡量的?

我們取 Tranco 清單(清單 ID JZWZY)的前 10,000 個網域,於 2026 年 11 月 21 日以 AISeeWhy 自己的 user agent,對每個網域各抓取一次首頁、robots.txt 和 llms.txt。我們依 RFC 9309,針對首頁(/)和 16 個 AI 與搜尋爬蟲,判讀每一份 robots.txt。

10,000 個網域中,有 6,192 個提供了 robots.txt(成功回應且不是 HTML 頁面)。有 1,121 個回應 4xx,表示沒有任何規則、所有爬蟲都被允許;另有 2,687 個沒有提供(沒有 HTTPS 網站、發生錯誤、逾時,或是回傳 HTML 頁面)。下面所有百分比都以 6,192 為基數。這份清單包含不提供網站的 CDN 和 API。

我們發現了什麼?

哪些爬蟲最常被封鎖?

在 6,192 個網域中,robots.txt 對該爬蟲禁止存取首頁的比例:

越大的網站封鎖得越多嗎?

是的,而且它們更常把訓練和搜尋混為一談。我們依排名將清單分組:

選擇性做法在各種規模的網站中都很少見:三組網域中分別為 10.5%、10.4% 和 11.5%。

自 11 月 12 日的報告以來有什麼變化嗎?

我們用同一份清單重新跑了前 1,000 個網域。結果的差異大約在一個百分點以內:28.6% 封鎖訓練(11 月 12 日為 29.9%),18.6% 封鎖 AI 搜尋(19.5%),封鎖訓練的網站中有 63.1% 也封鎖 AI 搜尋(63.2%)。基數略有不同(現在有 560 個網域有 robots.txt,當時是 518 個),因為這次執行會在抓取前先跟隨網域的重新導向到主要主機。

這對你的 robots.txt 有什麼意義?

大多數 AI 公司都公開說明訓練與搜尋使用不同的爬蟲,並表示兩者的設定彼此獨立。禁止 GPTBot 不會影響 OAI-SearchBot,禁止 ClaudeBot 也不會影響 Claude-SearchBot。如果你想退出訓練、同時仍被引用,就封鎖訓練用的代碼,並允許搜尋和使用者用的代碼;另外,任何私人路徑都要在每個群組中重複列出,因為指名的群組不會從 * 繼承規則。

這些數字有多可靠?

它們是針對首頁的 robots.txt 規則,由同一個解析器在同一天讀取的結果。它們無法衡量防火牆的封鎖,而防火牆可能拒絕 robots.txt 允許的爬蟲。它們也無法得知各網站的本意,而且 Tranco 清單包含不提供網站的網域。封鎖搜尋爬蟲的規則不能證明是錯誤,只能說明這是一個常在不了解差別的情況下做出的選擇。你可以引用這些數據,並附上本頁的連結。

免費工具

下一步

本文提到的爬蟲

常見問題

有多少比例的熱門網站封鎖 AI 爬蟲?

在 Tranco 前 10,000 名中,有提供 robots.txt 的 6,192 個網域裡,23.2% 封鎖至少一個 AI 訓練爬蟲,12.3% 封鎖至少一個 AI 搜尋或使用者爬蟲。

封鎖 AI 訓練的網站也會封鎖 AI 搜尋嗎?

經常如此。封鎖訓練爬蟲的網站中,有 51.6% 也封鎖至少一個 AI 搜尋或使用者爬蟲,儘管各廠商都說明它們是設定彼此獨立的不同爬蟲。

哪個 AI 爬蟲最常被封鎖?

訓練爬蟲中是 Bytespider(18.7%)和 CCBot(18.5%),其次是 GPTBot(17.4%)。AI 搜尋爬蟲中,PerplexityBot 最常被封鎖,有 10.4% 的網域這麼做。

為什麼這些數字和你們 1,000 個網站的報告不同?

前 1,000 個網域得出的百分比幾乎相同(28.6% 和 18.6%,對比 29.9% 和 19.5%)。10,000 個網站的整體數字較低,是因為較小的網站封鎖得較少。

資料來源

更多文章