ClaudeBot
ClaudeBot は、生成 AI モデルの学習に使われる可能性があるウェブコンテンツを取得する Anthropic のクローラーです。robots.txt で禁止すると、サイトの今後のコンテンツを学習から除外するよう伝えることになります。ClaudeBot だけをブロックしても、検索とリアルタイムの回答を担う Claude-SearchBot や Claude-User は止まりません。
役割
Anthropic によると、ClaudeBot は、モデルの有用性と安全性を高めるために、モデルの学習に寄与し得るウェブコンテンツを収集します。ClaudeBot を禁止すると、サイトの今後の素材を学習データセットから除外するよう伝えることになります。
Anthropic は非標準の Crawl-delay ディレクティブにも対応しているため、ClaudeBot をブロックせずに速度を落とすことができます。robots.txt で ClaudeBot を指定したルールは、Anthropic の AI 学習に関する一般的なシグナルより優先されます。robots.txt のルールはホストごとに適用されるため、対象にしたいサブドメインごとに追加してください。
2026-11の調査では、robots.txt を設置している人気サイトの 21.2% がこのクローラーをブロックしていました。 →
robots.txt のトークン
ClaudeBot
許可する方法
User-agent: ClaudeBot
Allow: /ブロックする方法
User-agent: ClaudeBot
Disallow: /本物のアクセスかどうかを確認する方法
Anthropic は、クローラーの IP アドレスを claude.com/crawling/bots.json で公開しており、この一覧に IP が載っているクローラーは Anthropic のものだとしています。ユーザーエージェントを信用せず、送信元 IP を一覧と照合してください。Anthropic は、オプトアウトに IP ブロックを使うことを勧めていません。クローラーが robots.txt を読めなくなるためです。