為什麼我的網站突然封鎖 AI 爬蟲?

發布於

簡短回答

開始封鎖 AI 爬蟲的網站,幾乎都是在以下五個地方之一出現了變化:實際送出的 robots.txt、CDN 設定(例如 Cloudflare 的 AI 爬蟲政策)、機器人防護或速率限制、主機商的預設值,或是 robots.txt 現在回傳錯誤。請擷取今天的 robots.txt,並以每個爬蟲的身分擷取一個頁面,與瀏覽器的結果以及你以前的結果比較,再依這個順序檢查這些環節。

沒有人會決定讓自己從 AI 答案中消失。這通常是佈景主題更新、安全性設定、網站搬遷,或服務供應商變更預設值所帶來的副作用。瀏覽器看到的網站一切正常,所以這種變化可能一直沒人發現,直到有人向 ChatGPT 或 Perplexity 詢問產品,得到的卻是競爭對手。每個環節都會留下痕跡,你可以從外部或在日誌中檢查。

本頁內容
  1. 爬蟲拿到的 robots.txt 變了嗎?
  2. Cloudflare 2026 年的 AI 爬蟲政策是否改變了我的網站允許的內容?
  3. 是機器人防護或速率限制擋住了爬蟲嗎?
  4. 我的主機商是否變更了預設值?
  5. robots.txt 是否正在回傳錯誤?
  6. 如何查出問題是從什麼時候開始的?
  7. 下次如何更早發現?

爬蟲拿到的 robots.txt 變了嗎?

擷取 https://yourdomain.com/robots.txt,並與程式碼存放庫或備份中的檔案比較。要看的是實際送出的檔案,而不是磁碟上的檔案,因為好幾個環節都可能在途中改動它:

Google Search Console 的 robots.txt 報表會顯示 Google 在過去 30 天擷取的各個版本,每當檔案或擷取結果改變,就會新增一筆記錄。它只涵蓋 Google 看到的內容,但除非你的伺服器會依 user agent 送出不同的 robots.txt,否則 AI 爬蟲拿到的也是同一個檔案。

Cloudflare 2026 年的 AI 爬蟲政策是否改變了我的網站允許的內容?

Cloudflare 已多次變更其 AI 爬蟲控制,其中有些變更會在沒有人編輯的情況下改變一個 zone 的行為。2025 年 7 月 1 日起,它開始在新網域註冊時詢問是否允許 AI 爬蟲,初始狀態為封鎖。2026 年 7 月 1 日,它以 Search、Agent 與 Training 三項獨立政策取代原本單一的 Block AI bots 開關,適用於包括 Free 在內的所有方案。

最容易讓網站踩雷的細節是多用途爬蟲。Cloudflare 的文件表示,Training 的動作也適用於同時用於搜尋與訓練的爬蟲。它在 2026 年 7 月的公告中表示,從 2026 年 9 月 15 日起,對於選擇封鎖 Training 的客戶,無論是透過新選項還是舊的 Block AI bots 設定,Googlebot、Applebot 與 BingBot 等多用途爬蟲都會被封鎖。因此,一年前設定的退出訓練選項,現在可能會波及搜尋爬蟲。

新網域的預設值,在不同時間有不同的說法。同一則公告表示,從 2026 年 9 月 15 日起,新網域在顯示廣告的頁面上會封鎖 Training 與 Agent;而 2026 年 11 月 2 日更新的政策文件則說,新網域的三項政策一開始都是 Allow。請開啟 Security,再開啟 Settings,依 Bot traffic 篩選,查看你自己 zone 的 AI Crawler and Agent access policies。我們關於 Cloudflare AI Crawl Control 的指南說明了每一項設定。

是機器人防護或速率限制擋住了爬蟲嗎?

機器人防護會判斷每個請求,而爬蟲會從資料中心快速擷取大量頁面,這正是機器人的行為。上個月還能通過的爬蟲,可能在營運方更換 IP 範圍或檢索頻率之後,或在防護規則更新之後,開始收到驗證挑戰頁。Cloudflare 的 Bot Fight Mode 是常見原因,Cloudflare 表示它無法透過 WAF 自訂規則或 Page Rules 繞過或略過,所以只要它還開著,事後加上的放行規則也無濟於事。新設定的速率限制若以 429 回應突發請求,對忙碌的爬蟲也會有同樣的效果。

從外部測試:分別以瀏覽器和兩個 AI 搜尋爬蟲的身分請求一個頁面,再以爬蟲身分請求 robots.txt。

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

如果只有爬蟲得到 403、429 或 503,或頁面標題是 Just a moment...,或內容比瀏覽器的小很多,就表示爬蟲受到差別待遇。測試來自你的 IP,而不是廠商的 IP,所以依已驗證機器人狀態運作的規則,仍可能以不同方式對待真正的爬蟲。防火牆的事件記錄會顯示是哪條規則做出回應。

我的主機商是否變更了預設值?

有些主機商會在伺服器層、在你自己的規則執行之前就過濾 AI 流量。例如 SiteGround 在 2025 年 8 月寫道,它預設會封鎖用來收集訓練資料的 AI 爬蟲,並允許在有人向 AI 助理詢問某個頁面時前來造訪的爬蟲。這類規則不會出現在你的 robots.txt 中,而且可能在主機商更新機器人清單時改變。

如果同一主機商的多個網站同時出現封鎖,或封鎖出現在從未到達你應用程式日誌的回應中,請詢問主機商哪些機器人規則適用於你的帳戶,以及能否為你想保留的爬蟲設定例外。

robots.txt 是否正在回傳錯誤?

一個出錯的 robots.txt,封鎖的範圍可能比任何一行 Disallow 都大。依據 RFC 9309,4xx 回應代表爬蟲可以擷取所有內容,但伺服器錯誤(5xx)或完全沒有回應,代表它必須假設整個網站都被禁止。Google 在發生這類錯誤的前 12 小時會停止檢索,之後最多 30 天會使用它最後一份正常的副本。

這就是負載暴增、對 /robots.txt 發出驗證挑戰的防火牆規則,或把它也算進去的速率限制,能在沒有改動任何一條規則的情況下,把守規矩的爬蟲拒於門外的原因。上面測試中的最後一個指令應該回傳 200 與 text/plain。如果這裡出現 5xx、逾時或驗證挑戰頁,那就是要先修正的地方。

如何查出問題是從什麼時候開始的?

有了日期,謎團就變成一次比對。在存取日誌中篩選來自 AI 爬蟲 user agent 的請求,找出它們的狀態碼從 200 變成 403、429 或 503 的那一天,或它們讀取 robots.txt 後就不再請求頁面的那一天;我們關於在伺服器日誌中找出 AI 爬蟲的指南提供了相關指令。被 CDN 擋下的請求永遠不會到達原始伺服器,所以也要檢查 CDN。在 Cloudflare 上,AI Crawl Control 會顯示狀態碼隨時間的分布,並可依爬蟲篩選。

接著把這個日期與部署、外掛與佈景主題更新、CDN 設定變更,以及服務供應商的公告對照。採取行動之前,先確認來源 IP 屬於該廠商,確保你看的是真正的爬蟲,而不是冒用其名稱的冒充者。

下次如何更早發現?

每次部署、CDN 變更與外掛更新之後都檢查存取狀況,不要只在流量下滑時才檢查。AISeeWhy 免費檢查會以 16 個 AI 與搜尋爬蟲的身分擷取頁面,並與真實瀏覽器對照,依爬蟲套用你的 robots.txt,並辨識防火牆的驗證挑戰頁。免費的 robots.txt 測試工具會依爬蟲顯示,在今天線上的檔案下,某個頁面是否允許擷取。

免費工具

下一步

本文提到的爬蟲

常見問題

為什麼 ChatGPT 不再顯示我的網站?

通常是因為 ChatGPT 搜尋背後的爬蟲 OAI-SearchBot 被 robots.txt 變更、CDN 政策或機器人防護封鎖了。OpenAI 表示,封鎖它的網站不會出現在 ChatGPT 的搜尋答案中。請針對這個爬蟲逐一檢查各個環節,並在修正 robots.txt 後等待約 24 小時,這是 OpenAI 所說其系統完成調整所需的時間。

Cloudflare 是不是開始在我的網站上封鎖 Googlebot?

有可能。Cloudflare 表示,從 2026 年 9 月 15 日起,封鎖 Training 的客戶也會封鎖 Googlebot、Applebot 與 BingBot 等多用途爬蟲。其文件表示,Training 的 Disallow 選項會在邊緣封鎖訓練爬蟲,但不包括多用途爬蟲,所以請確認你的 zone 使用的是哪個選項。

網站建置工具或外掛會替我修改 robots.txt 嗎?

會。網站建置工具以及 SEO 或安全性外掛,可能會把 AI 爬蟲規則寫入 robots.txt,有些還會隨時間擴充機器人清單。每次更新後,請擷取線上檔案,閱讀適用於你在意的搜尋爬蟲的群組。

為什麼線上的 robots.txt 和我伺服器上的檔案不一樣?

你的伺服器前面有某個環節在修改它。例如,Cloudflare 代管的 robots.txt 會在同一個回應中,把自己的規則和內容信號加在你的檔案前面。依請求產生 robots.txt 的 CMS,或主機層級的設定,也可能取代或擴充它。

修正後 AI 爬蟲要多久才會回來?

RFC 9309 規定爬蟲使用快取的 robots.txt 不應超過 24 小時,OpenAI 說約 24 小時,Perplexity 說最多 24 小時。防火牆變更會在供應商部署後立即生效,但爬蟲會依自己的時程回來。

資料來源

更多文章