如何解讀 Cloudflare 的 AI Crawl Control 報表,看出哪些 AI 爬蟲進得來
在 Cloudflare 儀表板中開啟 AI Crawl Control:爬蟲清單會列出 Cloudflare 在你的網域上看到的每個 AI 爬蟲、它的請求數、違反 robots.txt 的次數,以及它的動作是 Allow 還是 Block。若要保留 AI 搜尋、拒絕訓練,請在這裡或在 AI Crawler and Agent access policies 中允許搜尋與代理爬蟲,並封鎖或以 robots.txt 禁止訓練爬蟲。接著用 curl 從外部確認,因為 Cloudflare 的其他功能仍可能封鎖你已允許的爬蟲。
Cloudflare 現在有兩個地方決定 AI 爬蟲會收到什麼:AI Crawl Control,也就是以前叫 AI Audit、按爬蟲逐一顯示的報表與控制台;以及位於安全性設定下、套用到整個區域的 AI Crawler and Agent access policies。兩者在免費方案中都能使用,都在 2026 年有所變動,而且都不會告訴你其他仍可能以 403 回應爬蟲的功能。本指南逐欄說明這份報表,告訴你在哪裡設定允許與封鎖,最後提供一個可以在自己電腦上執行的測試。
本頁內容
Cloudflare 的 AI 爬蟲報表在哪裡?
在儀表板中選擇你的帳戶與網域,然後開啟 AI Crawl Control。Cloudflare 表示它不需任何設定,所有方案都能使用,前提是你的網域流量經由 Cloudflare 代理。它有四個區域:
- Overview:摘要總覽,包含總請求數、流量變化、最常見的狀態碼、最熱門的路徑與高流量爬蟲,以及 Cloudflare 的代管 robots.txt 是否開啟,並依營運者(例如 OpenAI、Microsoft、Google、ByteDance、Anthropic 與 Meta)將爬蟲分組。
- 爬蟲清單:每個 AI 爬蟲一列,並有一個 Action 欄位,可在其中選擇 Allow 或 Block。Cloudflare 的文件在某一頁把這個分頁稱為 Crawlers,在另一頁則稱為 Security,所以請找有 Action 欄位的那張表。
- Metrics:隨時間變化的請求數、狀態碼分布、內容格式、最熱門的路徑,以及付費方案才有的參照流量。篩選條件包括日期範圍、爬蟲、營運者、主機名稱與路徑,也可以匯出 CSV。
- Directives:你的 robots.txt 檔案的健康狀況,以及違反 robots.txt 的清單。
解讀數字時,有兩個方案限制很重要。在免費方案中,AI Crawl Control 只靠 user agent 字串辨識爬蟲,所以只看得到自報身分的爬蟲,而 Metrics 分頁只涵蓋過去 24 小時。付費方案會加上透過 Bot Management 偵測 ID 的辨識,搭配 Bot Management 的 Enterprise 方案則可自訂時間範圍。
AI Crawl Control 報表中的每個欄位和指標代表什麼?
Cloudflare 對各欄位的說明如下。這些定義很重要,因為有幾個數字計入的內容比你想像的多。
- Crawler 與 Category:爬蟲名稱、營運者及類別,例如 AI 爬蟲、AI 助理或封存工具。
- Requests:允許的請求加上未成功的請求,並附趨勢圖。未成功的請求可能來自任何規則或回應錯誤,不只是 AI Crawl Control 的封鎖,所以如果一個已允許的爬蟲數字很高,代表有其他規則在作用,或你的來源伺服器發生錯誤。
- Allowed requests:收到 200 到 299 之間狀態碼的請求。資料傳輸量以 Cloudflare 為允許的請求送出的位元組計算。
- Robots.txt violations:爬蟲請求你的 robots.txt 所禁止路徑的次數。Cloudflare 會用你目前的規則比對過去的請求,所以今天新增的規則可能會把當時被允許的請求標記為違規。
- Action:Allow、Block,或是參加 pay per crawl 測試版的帳戶可用的 Charge。
- 狀態碼分布:2xx、3xx、4xx 與 5xx。4xx 這組包括封鎖產生的 403 與 pay per crawl 產生的 402。
- Referrals 與主要參照來源(僅限付費方案):來自 AI 服務的造訪,例如來自 chatgpt.com,以及這些造訪的到達頁面。
從你選擇的動作來解讀報表。設為 Allow 的爬蟲應該大多是允許的請求與 2xx 狀態碼。如果它有很多未成功的請求,就篩選該爬蟲開啟狀態碼分布,並查看 Security Analytics,找出是哪條規則回應了它。
如何在 Cloudflare 中放行 AI 搜尋爬蟲並封鎖訓練爬蟲?
你可以按爬蟲設定,也可以按行為設定。按爬蟲設定時,開啟 AI Crawl Control,為每一列設定 Action。Cloudflare 表示,在那裡封鎖會在你的區域上建立或更新一條 WAF 自訂規則,你可以在 WAF 中擴充它,加入路徑例外。付費方案可以選擇被封鎖的爬蟲收到 403 還是 402,並設定純文字回應內容。
按行為設定時,前往 Security,再進入 Settings,以 Bot traffic 篩選,然後開啟 AI Crawler and Agent access policies。Cloudflare 把 AI 流量分成三種行為,每項政策都會套用到具有該行為的已驗證機器人,以及符合條件的未驗證機器人:
- Search:收集或索引內容,以便日後回答問題。
- Agent:代表使用者即時行動,例如聊天時的擷取與瀏覽器代理程式。
- Training:收集內容用來訓練或微調模型,包括同時用於訓練與搜尋的爬蟲。
每種行為都可以設為 Block、Block on pages with ads 或 Allow (do not block)。Training 另外還有 Disallow,只透過 robots.txt 向爬蟲提出要求。開啟 Bot Preference Sync 後,Cloudflare 會在你的 robots.txt 開頭加入代管規則,禁止 Amazonbot、Applebot-Extended、Bytespider、CCBot、ClaudeBot、Google-Extended、GPTBot 與 meta-externalagent,加入一行 Content Signals,並在邊緣封鎖 AI 訓練爬蟲,但同時用於搜尋與訓練的爬蟲除外。
對大多數想被 AI 引用的網站來說,安全的組合是把 Search 與 Agent 設為 Allow、Training 設為 Disallow,再於 AI Crawl Control 中對你想在邊緣擋下的純訓練爬蟲個別設定 Block。
Cloudflare 的 AI 爬蟲預設值有哪些變化?
2025 年 7 月 1 日,Cloudflare 宣布將預設值改為封鎖 AI 爬蟲,除非它們付費給內容創作者。2026 年 7 月 1 日,它把單一的 Block AI bots 開關換成上述分開的 Search、Agent 與 Training 政策,適用於包括免費方案在內的所有方案。同一份公告表示,自 2026 年 9 月 15 日起新加入的網域,在顯示廣告的頁面上會封鎖 Training 與 Agent,並允許 Search。
Cloudflare 目前的政策文件(最後更新於 2026 年 11 月 2 日)則表示,新網域對三種行為的預設值都是 Allow (do not block)。由於 Cloudflare 自己的頁面在不同時間描述過不同的預設值,不要依賴其中任何一種說法來判斷你的區域:請打開政策頁面,看看實際的設定。
為什麼我已經允許了,Cloudflare 還是在封鎖 AI 爬蟲?
AI Crawl Control 中的 Allow 動作只會讓 AI Crawl Control 不再封鎖。其他功能仍會處理這個請求。常見原因:
- 封鎖 Training 也會封鎖同時用於搜尋與訓練的搜尋爬蟲。Cloudflare 的文件表示,Training 的動作適用於多用途爬蟲,它在 2026 年 7 月的公告中也點名 Googlebot、Applebot 與 bingbot,是封鎖 Training 的客戶自 2026 年 9 月 15 日起會擋下的爬蟲。Disallow 是範圍較窄的選擇,因為它的邊緣封鎖會略過多用途爬蟲。
- Bot Fight Mode 已開啟。Cloudflare 指出,無法用 WAF 自訂規則或 Page Rules 略過 Bot Fight Mode。如果它對爬蟲發出驗證挑戰,請把它關掉;若你的方案有 Super Bot Fight Mode,可改用它,因為它支援略過規則。
- 舊的 WAF 自訂規則封鎖了包含
bot的 user agent,或速率限制規則以 429 回應突發流量。不論 AI Crawl Control 中的 Action 是什麼,這些規則都會執行。 - 封鎖規則被手動修改過。如果 AI Crawl Control 背後的 WAF 規則被改成其他回應碼,儀表板就無法再執行你的選擇。
- robots.txt 仍禁止該爬蟲。Cloudflare 的 Allow 不會修改你的 robots.txt,所以守規矩的爬蟲還是不會來。在我們對最受歡迎的 1,000 個網域所做的研究中,在 robots.txt 中封鎖 AI 訓練爬蟲的 155 個網站裡,有 98 個也封鎖了至少一個 AI 搜尋爬蟲或使用者爬蟲。
如何從外部確認 Cloudflare 讓哪些 AI 爬蟲進來?
分別以瀏覽器的 user agent 和每個爬蟲的 user agent 請求同一個頁面,然後比較狀態碼與大小。下面 OpenAI、Perplexity 與 Google 的字串,都是這些公司公布的版本。
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 如果某個爬蟲那一行出現 403、429 或 503,或大小比瀏覽器那一行小很多,就表示你的來源伺服器前方有某個環節做出了不同的回應。在免費方案中,AI Crawl Control 依 user agent 偵測爬蟲,所以這個測試能合理檢查它的封鎖。依已驗證機器人狀態或機器人分數運作的規則,可能會對你的請求和真正的爬蟲有不同處理,因為請求來自你的 IP 位址,而不是營運者公布的 IP 範圍。測試後,請在 Security Analytics 中找出你自己的請求,看看是哪條規則相符。
AISeeWhy 如何檢查 Cloudflare 傳給 AI 爬蟲的內容?
免費的 AISeeWhy 檢查會以 16 個 AI 與搜尋爬蟲的身分,連同真實瀏覽器一起請求你的頁面,逐一為每個爬蟲套用你的 robots.txt,並辨識防火牆的驗證挑戰頁,讓你看出 Cloudflare 儀表板上的結果是否與爬蟲實際收到的內容一致。
此問題的修正方法
下一步
本文提到的爬蟲
常見問題
Cloudflare AI Crawl Control 是免費的嗎?
是的。Cloudflare 列出 AI Crawl Control 適用於所有方案。免費方案只依 user agent 偵測爬蟲,Metrics 只顯示過去 24 小時;參照流量資料與自訂封鎖回應需要付費方案。
Cloudflare AI Audit 怎麼了?
它改名了。Cloudflare 的文件把 AI Crawl Control 描述為前身是 AI Audit,用途相同:查看有哪些 AI 爬蟲造訪,並為每個爬蟲設定動作。
在 AI Crawl Control 中封鎖爬蟲會改變我的 robots.txt 嗎?
不會。Block 動作會建立或更新一條 WAF 自訂規則。只有當你對 Training 使用 Disallow 選項並搭配 Bot Preference Sync 時,robots.txt 才會改變,這時 Cloudflare 會在你的檔案開頭加入它的代管規則。
在 Cloudflare 中,什麼算是違反 robots.txt?
AI 爬蟲請求了你的 robots.txt 所禁止的路徑。Cloudflare 會用你目前的規則比對過去的請求,所以新規則可能會把當時被允許的舊請求標記為違規。
什麼是 pay per crawl?
一種 Charge 動作,要求 AI 爬蟲按請求付費,否則以 HTTP 402 和價格回應。Cloudflare 把它描述為封閉測試版,而 WAF 或 Bot Management 的封鎖優先於它。
資料來源
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy:AI 爬蟲存取報告,2026-11