CCBot
Common Crawl · AI 训练
CCBot 是 Common Crawl 的爬虫。Common Crawl 是一家非营利组织，维护着一个免费开放的网络抓取数据库。研究人员和 AI 开发者广泛使用这份存档，因此屏蔽 CCBot 主要是关于训练的决定。它不会直接影响任何搜索引擎或 AI 搜索产品。
它的作用
Common Crawl 是一家非营利组织，制作并维护开放的网络抓取数据库，任何人都可免费获取。CCBot 负责收集这些数据。Common Crawl 表示，它在抓取页面前会检查 robots.txt，遵守 Crawl-delay，且不执行 JavaScript。
要屏蔽它，Common Crawl 的文档给出的做法是为 CCBot 标识设置一个包含 Disallow: / 的 robots.txt 规则组。若只想放慢它，则建议在同一规则组中加一行 Crawl-delay。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，24.1% 屏蔽了它。 →
robots.txt 标识
CCBot
User agent 字符串
CCBot/2.0 (https://commoncrawl.org/faq/)如何允许
User-agent: CCBot
Allow: /如何屏蔽
User-agent: CCBot
Disallow: /如何验证真实访问
Common Crawl 在带有反向 DNS 的专用 IP 范围上运行 CCBot，因此你可以检查日志中的请求是否来自真正的 CCBot。它以 JSON 形式公布 IPv4 和 IPv6 范围，并警告说其他爬虫会冒充 CCBot。