如何解讀 Cloudflare 的 AI Crawl Control 報表,看出哪些 AI 爬蟲進得來

發布於

簡短回答

在 Cloudflare 儀表板中開啟 AI Crawl Control:爬蟲清單會列出 Cloudflare 在你的網域上看到的每個 AI 爬蟲、它的請求數、違反 robots.txt 的次數,以及它的動作是 Allow 還是 Block。若要保留 AI 搜尋、拒絕訓練,請在這裡或在 AI Crawler and Agent access policies 中允許搜尋與代理爬蟲,並封鎖或以 robots.txt 禁止訓練爬蟲。接著用 curl 從外部確認,因為 Cloudflare 的其他功能仍可能封鎖你已允許的爬蟲。

Cloudflare 現在有兩個地方決定 AI 爬蟲會收到什麼:AI Crawl Control,也就是以前叫 AI Audit、按爬蟲逐一顯示的報表與控制台;以及位於安全性設定下、套用到整個區域的 AI Crawler and Agent access policies。兩者在免費方案中都能使用,都在 2026 年有所變動,而且都不會告訴你其他仍可能以 403 回應爬蟲的功能。本指南逐欄說明這份報表,告訴你在哪裡設定允許與封鎖,最後提供一個可以在自己電腦上執行的測試。

本頁內容
  1. Cloudflare 的 AI 爬蟲報表在哪裡?
  2. AI Crawl Control 報表中的每個欄位和指標代表什麼?
  3. 如何在 Cloudflare 中放行 AI 搜尋爬蟲並封鎖訓練爬蟲?
  4. Cloudflare 的 AI 爬蟲預設值有哪些變化?
  5. 為什麼我已經允許了,Cloudflare 還是在封鎖 AI 爬蟲?
  6. 如何從外部確認 Cloudflare 讓哪些 AI 爬蟲進來?
  7. AISeeWhy 如何檢查 Cloudflare 傳給 AI 爬蟲的內容?

Cloudflare 的 AI 爬蟲報表在哪裡?

在儀表板中選擇你的帳戶與網域,然後開啟 AI Crawl Control。Cloudflare 表示它不需任何設定,所有方案都能使用,前提是你的網域流量經由 Cloudflare 代理。它有四個區域:

解讀數字時,有兩個方案限制很重要。在免費方案中,AI Crawl Control 只靠 user agent 字串辨識爬蟲,所以只看得到自報身分的爬蟲,而 Metrics 分頁只涵蓋過去 24 小時。付費方案會加上透過 Bot Management 偵測 ID 的辨識,搭配 Bot Management 的 Enterprise 方案則可自訂時間範圍。

AI Crawl Control 報表中的每個欄位和指標代表什麼?

Cloudflare 對各欄位的說明如下。這些定義很重要,因為有幾個數字計入的內容比你想像的多。

從你選擇的動作來解讀報表。設為 Allow 的爬蟲應該大多是允許的請求與 2xx 狀態碼。如果它有很多未成功的請求,就篩選該爬蟲開啟狀態碼分布,並查看 Security Analytics,找出是哪條規則回應了它。

如何在 Cloudflare 中放行 AI 搜尋爬蟲並封鎖訓練爬蟲?

你可以按爬蟲設定,也可以按行為設定。按爬蟲設定時,開啟 AI Crawl Control,為每一列設定 Action。Cloudflare 表示,在那裡封鎖會在你的區域上建立或更新一條 WAF 自訂規則,你可以在 WAF 中擴充它,加入路徑例外。付費方案可以選擇被封鎖的爬蟲收到 403 還是 402,並設定純文字回應內容。

按行為設定時,前往 Security,再進入 Settings,以 Bot traffic 篩選,然後開啟 AI Crawler and Agent access policies。Cloudflare 把 AI 流量分成三種行為,每項政策都會套用到具有該行為的已驗證機器人,以及符合條件的未驗證機器人:

每種行為都可以設為 Block、Block on pages with ads 或 Allow (do not block)。Training 另外還有 Disallow,只透過 robots.txt 向爬蟲提出要求。開啟 Bot Preference Sync 後,Cloudflare 會在你的 robots.txt 開頭加入代管規則,禁止 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot 與 meta-externalagent,加入一行 Content Signals,並在邊緣封鎖 AI 訓練爬蟲,但同時用於搜尋與訓練的爬蟲除外。

對大多數想被 AI 引用的網站來說,安全的組合是把 Search 與 Agent 設為 Allow、Training 設為 Disallow,再於 AI Crawl Control 中對你想在邊緣擋下的純訓練爬蟲個別設定 Block。

Cloudflare 的 AI 爬蟲預設值有哪些變化?

2025 年 7 月 1 日,Cloudflare 宣布將預設值改為封鎖 AI 爬蟲,除非它們付費給內容創作者。2026 年 7 月 1 日,它把單一的 Block AI bots 開關換成上述分開的 Search、Agent 與 Training 政策,適用於包括免費方案在內的所有方案。同一份公告表示,自 2026 年 9 月 15 日起新加入的網域,在顯示廣告的頁面上會封鎖 Training 與 Agent,並允許 Search。

Cloudflare 目前的政策文件(最後更新於 2026 年 11 月 2 日)則表示,新網域對三種行為的預設值都是 Allow (do not block)。由於 Cloudflare 自己的頁面在不同時間描述過不同的預設值,不要依賴其中任何一種說法來判斷你的區域:請打開政策頁面,看看實際的設定。

為什麼我已經允許了,Cloudflare 還是在封鎖 AI 爬蟲?

AI Crawl Control 中的 Allow 動作只會讓 AI Crawl Control 不再封鎖。其他功能仍會處理這個請求。常見原因:

如何從外部確認 Cloudflare 讓哪些 AI 爬蟲進來?

分別以瀏覽器的 user agent 和每個爬蟲的 user agent 請求同一個頁面,然後比較狀態碼與大小。下面 OpenAI、Perplexity 與 Google 的字串,都是這些公司公布的版本。

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

如果某個爬蟲那一行出現 403、429 或 503,或大小比瀏覽器那一行小很多,就表示你的來源伺服器前方有某個環節做出了不同的回應。在免費方案中,AI Crawl Control 依 user agent 偵測爬蟲,所以這個測試能合理檢查它的封鎖。依已驗證機器人狀態或機器人分數運作的規則,可能會對你的請求和真正的爬蟲有不同處理,因為請求來自你的 IP 位址,而不是營運者公布的 IP 範圍。測試後,請在 Security Analytics 中找出你自己的請求,看看是哪條規則相符。

AISeeWhy 如何檢查 Cloudflare 傳給 AI 爬蟲的內容?

免費的 AISeeWhy 檢查會以 16 個 AI 與搜尋爬蟲的身分,連同真實瀏覽器一起請求你的頁面,逐一為每個爬蟲套用你的 robots.txt,並辨識防火牆的驗證挑戰頁,讓你看出 Cloudflare 儀表板上的結果是否與爬蟲實際收到的內容一致。

此問題的修正方法

免費工具

下一步

本文提到的爬蟲

常見問題

Cloudflare AI Crawl Control 是免費的嗎?

是的。Cloudflare 列出 AI Crawl Control 適用於所有方案。免費方案只依 user agent 偵測爬蟲,Metrics 只顯示過去 24 小時;參照流量資料與自訂封鎖回應需要付費方案。

Cloudflare AI Audit 怎麼了?

它改名了。Cloudflare 的文件把 AI Crawl Control 描述為前身是 AI Audit,用途相同:查看有哪些 AI 爬蟲造訪,並為每個爬蟲設定動作。

在 AI Crawl Control 中封鎖爬蟲會改變我的 robots.txt 嗎?

不會。Block 動作會建立或更新一條 WAF 自訂規則。只有當你對 Training 使用 Disallow 選項並搭配 Bot Preference Sync 時,robots.txt 才會改變,這時 Cloudflare 會在你的檔案開頭加入它的代管規則。

在 Cloudflare 中,什麼算是違反 robots.txt?

AI 爬蟲請求了你的 robots.txt 所禁止的路徑。Cloudflare 會用你目前的規則比對過去的請求,所以新規則可能會把當時被允許的舊請求標記為違規。

什麼是 pay per crawl?

一種 Charge 動作,要求 AI 爬蟲按請求付費,否則以 HTTP 402 和價格回應。Cloudflare 把它描述為封閉測試版,而 WAF 或 Bot Management 的封鎖優先於它。

資料來源

更多文章