十個企業網站中有四個拒絕 AI 爬蟲
在我們稽核的美國、英國和法國 165 個企業網站中,有 38% 在伺服器端拒絕了至少一個 AI 爬蟲,而且幾乎都是訓練或爬取用的機器人。大約每十個網站就有一個也拒絕了 PerplexityBot 或 OAI-SearchBot 這類 AI 搜尋爬蟲,而它們正是可能帶來引用的爬蟲。每個爬蟲發一次請求,就能檢查你的網站。
你問 ChatGPT 關於自家產品的問題,它卻列出競爭對手、評論網站和論壇討論串。有時這是內容的問題,但更常見的是防火牆對 AI 爬蟲回應了拒絕,而團隊裡沒人發現,因為網站在瀏覽器裡一切正常。
我們測試了什麼?
我們從同一個位址多次請求某個頁面:一次以一般瀏覽器的身分,另外分別以 14 個 AI 與搜尋爬蟲的身分各一次,其中包括 OpenAI 的 GPTBot、OAI-SearchBot 和 ChatGPT-User,Anthropic 的 ClaudeBot 和 Claude-SearchBot,以及 Perplexity 的 PerplexityBot。如果瀏覽器拿到頁面,而某個爬蟲收到 401、403、406、429、451、503 或驗證頁面,就表示該網站拒絕了那個爬蟲。
樣本是美國、英國和法國的 218 個企業網站,稽核時間為 2026 年 11 月 18 日至 21 日。其中 165 個網站我們能執行完整測試。另外 53 個連我們一般的瀏覽器請求都拒絕或沒有回應,所以我們將它們排除,而不是靠猜測。
我們發現了什麼?
- 在可測試的網站中,有 38%(165 個中的 63 個)拒絕了至少一個 AI 爬蟲。
- 這些網站每一個都至少拒絕了一個訓練或爬取用的爬蟲。所有網站中,35% 拒絕了
Bytespider,13% 拒絕了ClaudeBot,11% 拒絕了GPTBot。 - 有 10% 的網站(16 個)也拒絕了至少一個 AI 搜尋爬蟲,另有 5%(8 個)拒絕了在使用者向助理詢問時即時開啟頁面的爬蟲。
- 最重要的搜尋爬蟲中,被拒絕的是
PerplexityBot(11 個網站)和OAI-SearchBot(5 個網站)。 - 在拒絕了任何一個受測爬蟲的 66 個網站中,有 32 個背後是 Cloudflare。另外 30 個我們無法判斷是哪個防火牆做出的回應。
為什麼會這樣?什麼時候是有意的選擇?
其中很多很可能是刻意的。許多擁有者不希望自己的內容被用來訓練模型,而封鎖爬取機器人的防護設定很容易開啟。這是合理的選擇。
問題在於 AI 公司會把訓練和搜尋分開,各用不同的爬蟲。封鎖訓練爬蟲並不需要連搜尋爬蟲一起封鎖,而搜尋爬蟲正是可能讓你的頁面在回答中被引用的那一個。
最大的網站做得比較好嗎?
並沒有。在我們針對最熱門 1,000 個網域所做的 robots.txt 報告中,有 robots.txt 的網站裡,29.9% 至少封鎖了一個 AI 訓練爬蟲,而其中 63.2% 同時也封鎖了至少一個 AI 搜尋或使用者爬蟲。只有 11.0% 是封鎖訓練爬蟲、同時允許所有 AI 搜尋爬蟲,這很可能才是多數網站想要的設定。
如何在十分鐘內檢查自己的網站?
- 打開
yoursite.com/robots.txt。針對你在意的每個 AI 爬蟲,看看是否有群組指名它,以及該群組的內容。指名某個爬蟲的群組會完全取代一般的*群組。 - 測試伺服器實際的行為,而不是檔案上寫的內容。分別以瀏覽器和爬蟲的身分請求你的重要頁面。出現 403、429、標題為
Just a moment...的頁面,或回應比瀏覽器的小很多,都是防火牆封鎖的特徵。 - 直接問助理。開啟搜尋功能,向 ChatGPT 或 Perplexity 提出買家會問的問題,看它引用哪些網站。如果存取沒有問題但你仍然沒被提到,問題出在內容,而不是存取。
這些數字有多可靠?
請把它們當作一種現象,而不是普查。樣本並非隨機:這些公司是透過廣告資料庫、求職網站和地圖列表找到的。我們是從單一位址依 user agent 測試,而真正的爬蟲來自各廠商公布的位址,所以有些防火牆對真正的爬蟲會有不同的處理。而且,封鎖不一定是錯誤。
下一步
本文提到的爬蟲
常見問題
有多少比例的網站封鎖 AI 爬蟲?
在我們稽核的 165 個可測試的企業網站中,38% 在伺服器端拒絕了至少一個 AI 爬蟲,大多是訓練和爬取用的機器人。約有 10% 也拒絕了 AI 搜尋爬蟲。
封鎖 GPTBot 會讓我的網站從 ChatGPT 搜尋中消失嗎?
不會。OpenAI 表示,其各個爬蟲的 robots.txt 設定彼此獨立:GPTBot 與訓練有關,OAI-SearchBot 與 ChatGPT 搜尋有關。封鎖其中一個並不會封鎖另一個。
網站不用 robots.txt 要如何封鎖爬蟲?
防火牆、CDN 或機器人防護規則可以對爬蟲回應 403、429 或驗證頁面。robots.txt 看不出這一點,所以必須以爬蟲的身分請求頁面來測試。
拒絕爬蟲一定是錯誤嗎?
不一定。許多擁有者希望擋住訓練爬蟲和爬取工具。錯誤在於不小心封鎖了搜尋爬蟲,因為那些才是可能引用你頁面的爬蟲。
資料來源
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)