我們讀了最熱門 10,000 個網站的 robots.txt,看它們如何對待 AI 爬蟲
在 Tranco 前 10,000 名中,有提供 robots.txt 的 6,192 個網域裡,23.2% 封鎖至少一個 AI 訓練爬蟲,12.3% 封鎖至少一個 AI 搜尋或使用者爬蟲。封鎖訓練的網站中,有 51.6% 也封鎖 AI 搜尋。只有 11.2% 選擇退出訓練、同時允許所有 AI 搜尋爬蟲。
11 月時,我們讀了最熱門 1,000 個網域的 robots.txt。這次我們用相同的方法讀了 10,000 個,並增加檢查:網站越小,情況會有什麼變化。主要結論依然成立:封鎖訓練和封鎖搜尋被當成同一個決定,但其實是兩個決定。
我們是如何衡量的?
我們取 Tranco 清單(清單 ID JZWZY)的前 10,000 個網域,於 2026 年 11 月 21 日以 AISeeWhy 自己的 user agent,對每個網域各抓取一次首頁、robots.txt 和 llms.txt。我們依 RFC 9309,針對首頁(/)和 16 個 AI 與搜尋爬蟲,判讀每一份 robots.txt。
10,000 個網域中,有 6,192 個提供了 robots.txt(成功回應且不是 HTML 頁面)。有 1,121 個回應 4xx,表示沒有任何規則、所有爬蟲都被允許;另有 2,687 個沒有提供(沒有 HTTPS 網站、發生錯誤、逾時,或是回傳 HTML 頁面)。下面所有百分比都以 6,192 為基數。這份清單包含不提供網站的 CDN 和 API。
我們發現了什麼?
- 23.2%(1,437 個網域)封鎖至少一個 AI 訓練爬蟲。
- 12.3%(762 個)封鎖至少一個 AI 搜尋或使用者爬蟲,因此依賴它的回答不應使用或引用這些網頁。
- 在封鎖訓練爬蟲的網域中,有 51.6%(1,437 個中的 742 個)也封鎖至少一個 AI 搜尋或使用者爬蟲。
- 只有 11.2%(695 個)採取選擇性做法:封鎖訓練爬蟲,同時允許所有 AI 搜尋與使用者爬蟲。
- 6.5%(401 個)使用
Content-Signal表明自己對 AI 的偏好。 - 全部 10,000 個網域中,有 12.4%(1,240 個)公布了
llms.txt。 - 作為對照,有 2.0%(124 個)在首頁封鎖了
Googlebot。
哪些爬蟲最常被封鎖?
在 6,192 個網域中,robots.txt 對該爬蟲禁止存取首頁的比例:
Bytespider18.7%、CCBot18.5%、GPTBot17.4%、ClaudeBot16.5%。Meta-ExternalAgent15.5%、Google-Extended14.9%、Applebot-Extended14.6%。PerplexityBot為 10.4%,是最常被封鎖的 AI 搜尋爬蟲,其後是OAI-SearchBot的 7.0% 和Claude-SearchBot的 7.0%。- 在使用者提問時才開啟頁面的爬蟲:
ChatGPT-User8.9%、Perplexity-User7.7%、Claude-User7.4%。
越大的網站封鎖得越多嗎?
是的,而且它們更常把訓練和搜尋混為一談。我們依排名將清單分組:
- 第 1 至 1,000 名(560 個有 robots.txt 的網域):28.6% 封鎖訓練,18.6% 封鎖 AI 搜尋,封鎖訓練的網站中有 63.1% 也封鎖 AI 搜尋。
- 第 1,001 至 3,000 名(1,256 個網域):23.5%、13.5% 和 55.6%。
- 第 3,001 至 10,000 名(4,376 個網域):22.4%、11.2% 和 48.6%。
選擇性做法在各種規模的網站中都很少見:三組網域中分別為 10.5%、10.4% 和 11.5%。
自 11 月 12 日的報告以來有什麼變化嗎?
我們用同一份清單重新跑了前 1,000 個網域。結果的差異大約在一個百分點以內:28.6% 封鎖訓練(11 月 12 日為 29.9%),18.6% 封鎖 AI 搜尋(19.5%),封鎖訓練的網站中有 63.1% 也封鎖 AI 搜尋(63.2%)。基數略有不同(現在有 560 個網域有 robots.txt,當時是 518 個),因為這次執行會在抓取前先跟隨網域的重新導向到主要主機。
這對你的 robots.txt 有什麼意義?
大多數 AI 公司都公開說明訓練與搜尋使用不同的爬蟲,並表示兩者的設定彼此獨立。禁止 GPTBot 不會影響 OAI-SearchBot,禁止 ClaudeBot 也不會影響 Claude-SearchBot。如果你想退出訓練、同時仍被引用,就封鎖訓練用的代碼,並允許搜尋和使用者用的代碼;另外,任何私人路徑都要在每個群組中重複列出,因為指名的群組不會從 * 繼承規則。
這些數字有多可靠?
它們是針對首頁的 robots.txt 規則,由同一個解析器在同一天讀取的結果。它們無法衡量防火牆的封鎖,而防火牆可能拒絕 robots.txt 允許的爬蟲。它們也無法得知各網站的本意,而且 Tranco 清單包含不提供網站的網域。封鎖搜尋爬蟲的規則不能證明是錯誤,只能說明這是一個常在不了解差別的情況下做出的選擇。你可以引用這些數據,並附上本頁的連結。
下一步
本文提到的爬蟲
常見問題
有多少比例的熱門網站封鎖 AI 爬蟲?
在 Tranco 前 10,000 名中,有提供 robots.txt 的 6,192 個網域裡,23.2% 封鎖至少一個 AI 訓練爬蟲,12.3% 封鎖至少一個 AI 搜尋或使用者爬蟲。
封鎖 AI 訓練的網站也會封鎖 AI 搜尋嗎?
經常如此。封鎖訓練爬蟲的網站中,有 51.6% 也封鎖至少一個 AI 搜尋或使用者爬蟲,儘管各廠商都說明它們是設定彼此獨立的不同爬蟲。
哪個 AI 爬蟲最常被封鎖?
訓練爬蟲中是 Bytespider(18.7%)和 CCBot(18.5%),其次是 GPTBot(17.4%)。AI 搜尋爬蟲中,PerplexityBot 最常被封鎖,有 10.4% 的網域這麼做。
為什麼這些數字和你們 1,000 個網站的報告不同?
前 1,000 個網域得出的百分比幾乎相同(28.6% 和 18.6%,對比 29.9% 和 19.5%)。10,000 個網站的整體數字較低,是因為較小的網站封鎖得較少。
資料來源
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers