CCBot
Common Crawl · AI 訓練
CCBot 是 Common Crawl 的爬蟲。Common Crawl 是一個非營利組織，維護一個免費開放的網路擷取資料庫。這份典藏被研究人員與 AI 開發者廣泛使用，因此封鎖 CCBot 主要是與訓練有關的決定。它不會直接影響任何搜尋引擎或 AI 搜尋產品。
它的作用
Common Crawl 是一個非營利組織，製作並維護開放的網路擷取資料庫，任何人都能免費取用。CCBot 負責蒐集這些資料。Common Crawl 表示，它在擷取頁面前會檢查 robots.txt、遵守 Crawl-delay，且不執行 JavaScript。
若要封鎖它，Common Crawl 的文件提供的做法是為 CCBot 標記設定一個含有 Disallow: / 的 robots.txt 群組。若只想放慢它，則建議在同一個群組中加入一行 Crawl-delay。
在我們 2026-11 的研究中，設有 robots.txt 的熱門網站裡有 24.1% 封鎖了它。 →
robots.txt 標記
CCBot
User agent 字串
CCBot/2.0 (https://commoncrawl.org/faq/)如何允許
User-agent: CCBot
Allow: /如何封鎖
User-agent: CCBot
Disallow: /如何驗證真實造訪
Common Crawl 在具有反向 DNS 的專屬 IP 範圍上執行 CCBot，因此你可以檢查記錄中的請求是否來自真正的 CCBot。它以 JSON 格式公布 IPv4 與 IPv6 範圍，並警告有其他爬蟲會冒充 CCBot。