CCBot
Common Crawl · AI 学習
CCBot は、無料で公開されているウェブクロールデータのリポジトリを維持する非営利団体 Common Crawl のクローラーです。このアーカイブは研究者や AI 開発者に広く使われているため、CCBot のブロックは主に学習に関する判断になります。検索エンジンや AI 検索製品に直接影響することはありません。
役割
Common Crawl は、誰でも無料で使えるウェブクロールデータのオープンなリポジトリを作成・維持している非営利団体です。CCBot がそのデータを収集します。Common Crawl によると、ページを取得する前に robots.txt を確認し、Crawl-delay に従い、JavaScript は実行しません。
ブロックするには、Common Crawl は CCBot トークンの robots.txt グループに Disallow: / を指定する方法を示しています。ブロックせずに速度を落としたい場合は、同じグループに Crawl-delay の行を加えることを提案しています。
2026-11の調査では、robots.txt を設置している人気サイトの 24.1% がこのクローラーをブロックしていました。 →
robots.txt のトークン
CCBot
ユーザーエージェント文字列
CCBot/2.0 (https://commoncrawl.org/faq/)許可する方法
User-agent: CCBot
Allow: /ブロックする方法
User-agent: CCBot
Disallow: /本物のアクセスかどうかを確認する方法
Common Crawl は、専用の IP 範囲と逆引き DNS で CCBot を運用しているため、ログに残ったリクエストが本物の CCBot のものかどうかを確認できます。IPv4 と IPv6 の範囲は JSON で公開されており、他のクローラーが CCBot を偽って名乗っているとも注意しています。