Claude-SearchBot
Claude-SearchBot は、Claude の検索結果の関連性と正確性を高めるためにウェブをクロールします。Anthropic によると、ブロックするとコンテンツが検索用にインデックスされなくなり、ユーザーの検索結果でのサイトの可視性と正確性が下がる可能性があります。Claude にページを見つけて引用してほしい場合は、許可してください。
役割
Anthropic は、ウェブを巡回して Claude ユーザー向けの検索結果の品質を高めるために Claude-SearchBot を使っています。学習用クローラーの ClaudeBot とは別なので、学習はオプトアウトしたまま検索を許可できます。
Anthropic によると、Claude-SearchBot を無効にすると検索最適化のためのコンテンツのインデックスが行われなくなり、ユーザーの検索結果でのサイトの可視性と正確性が下がる可能性があります。Anthropic のボットは robots.txt を尊重し、回避防止策も尊重するため、CAPTCHA やチャレンジページが表示されるとアクセスを終了します。
2026-11の調査では、robots.txt を設置している人気サイトの 12.9% がこのクローラーをブロックしていました。 →
robots.txt のトークン
Claude-SearchBot
許可する方法
User-agent: Claude-SearchBot
Allow: /ブロックする方法
User-agent: Claude-SearchBot
Disallow: /本物のアクセスかどうかを確認する方法
Anthropic は、クローラーの IP アドレスを claude.com/crawling/bots.json で公開しており、この一覧に IP が載っているクローラーは Anthropic のものだとしています。ユーザーエージェントを信用せず、送信元 IP を一覧と照合してください。Anthropic は、オプトアウトに IP ブロックを使うことを勧めていません。クローラーが robots.txt を読めなくなるためです。