十個企業網站中有四個拒絕 AI 爬蟲

發布於

簡短回答

在我們稽核的美國、英國和法國 165 個企業網站中,有 38% 在伺服器端拒絕了至少一個 AI 爬蟲,而且幾乎都是訓練或爬取用的機器人。大約每十個網站就有一個也拒絕了 PerplexityBot 或 OAI-SearchBot 這類 AI 搜尋爬蟲,而它們正是可能帶來引用的爬蟲。每個爬蟲發一次請求,就能檢查你的網站。

你問 ChatGPT 關於自家產品的問題,它卻列出競爭對手、評論網站和論壇討論串。有時這是內容的問題,但更常見的是防火牆對 AI 爬蟲回應了拒絕,而團隊裡沒人發現,因為網站在瀏覽器裡一切正常。

本頁內容
  1. 我們測試了什麼?
  2. 我們發現了什麼?
  3. 為什麼會這樣?什麼時候是有意的選擇?
  4. 最大的網站做得比較好嗎?
  5. 如何在十分鐘內檢查自己的網站?
  6. 這些數字有多可靠?

我們測試了什麼?

我們從同一個位址多次請求某個頁面:一次以一般瀏覽器的身分,另外分別以 14 個 AI 與搜尋爬蟲的身分各一次,其中包括 OpenAI 的 GPTBot、OAI-SearchBot 和 ChatGPT-User,Anthropic 的 ClaudeBot 和 Claude-SearchBot,以及 Perplexity 的 PerplexityBot。如果瀏覽器拿到頁面,而某個爬蟲收到 401、403、406、429、451、503 或驗證頁面,就表示該網站拒絕了那個爬蟲。

樣本是美國、英國和法國的 218 個企業網站,稽核時間為 2026 年 11 月 18 日至 21 日。其中 165 個網站我們能執行完整測試。另外 53 個連我們一般的瀏覽器請求都拒絕或沒有回應,所以我們將它們排除,而不是靠猜測。

我們發現了什麼?

為什麼會這樣?什麼時候是有意的選擇?

其中很多很可能是刻意的。許多擁有者不希望自己的內容被用來訓練模型,而封鎖爬取機器人的防護設定很容易開啟。這是合理的選擇。

問題在於 AI 公司會把訓練和搜尋分開,各用不同的爬蟲。封鎖訓練爬蟲並不需要連搜尋爬蟲一起封鎖,而搜尋爬蟲正是可能讓你的頁面在回答中被引用的那一個。

最大的網站做得比較好嗎?

並沒有。在我們針對最熱門 1,000 個網域所做的 robots.txt 報告中,有 robots.txt 的網站裡,29.9% 至少封鎖了一個 AI 訓練爬蟲,而其中 63.2% 同時也封鎖了至少一個 AI 搜尋或使用者爬蟲。只有 11.0% 是封鎖訓練爬蟲、同時允許所有 AI 搜尋爬蟲,這很可能才是多數網站想要的設定。

如何在十分鐘內檢查自己的網站?

  1. 打開 yoursite.com/robots.txt。針對你在意的每個 AI 爬蟲,看看是否有群組指名它,以及該群組的內容。指名某個爬蟲的群組會完全取代一般的 * 群組。
  2. 測試伺服器實際的行為,而不是檔案上寫的內容。分別以瀏覽器和爬蟲的身分請求你的重要頁面。出現 403、429、標題為 Just a moment... 的頁面,或回應比瀏覽器的小很多,都是防火牆封鎖的特徵。
  3. 直接問助理。開啟搜尋功能,向 ChatGPT 或 Perplexity 提出買家會問的問題,看它引用哪些網站。如果存取沒有問題但你仍然沒被提到,問題出在內容,而不是存取。

這些數字有多可靠?

請把它們當作一種現象,而不是普查。樣本並非隨機:這些公司是透過廣告資料庫、求職網站和地圖列表找到的。我們是從單一位址依 user agent 測試,而真正的爬蟲來自各廠商公布的位址,所以有些防火牆對真正的爬蟲會有不同的處理。而且,封鎖不一定是錯誤。

免費工具

下一步

本文提到的爬蟲

常見問題

有多少比例的網站封鎖 AI 爬蟲?

在我們稽核的 165 個可測試的企業網站中,38% 在伺服器端拒絕了至少一個 AI 爬蟲,大多是訓練和爬取用的機器人。約有 10% 也拒絕了 AI 搜尋爬蟲。

封鎖 GPTBot 會讓我的網站從 ChatGPT 搜尋中消失嗎?

不會。OpenAI 表示,其各個爬蟲的 robots.txt 設定彼此獨立:GPTBot 與訓練有關,OAI-SearchBot 與 ChatGPT 搜尋有關。封鎖其中一個並不會封鎖另一個。

網站不用 robots.txt 要如何封鎖爬蟲?

防火牆、CDN 或機器人防護規則可以對爬蟲回應 403、429 或驗證頁面。robots.txt 看不出這一點,所以必須以爬蟲的身分請求頁面來測試。

拒絕爬蟲一定是錯誤嗎?

不一定。許多擁有者希望擋住訓練爬蟲和爬取工具。錯誤在於不小心封鎖了搜尋爬蟲,因為那些才是可能引用你頁面的爬蟲。

資料來源

更多文章