Claude-User
Claude-User は、Claude のユーザーが質問し、それにウェブサイトへのアクセスが必要なときに訪れます。たとえば、共有されたリンクを読む場合です。Anthropic によると、同社のボットは robots.txt を尊重し、Claude-User をブロックするとユーザーの質問に応じたコンテンツの取得ができなくなり、ユーザー主導のウェブ検索での可視性が下がる可能性があります。
役割
Anthropic は、Claude のユーザーを支援するために Claude-User を使っています。誰かが Claude に質問すると、Claude は回答のためにウェブサイトへアクセスすることがあります。これはユーザーに代わって行う個別の取得であり、一般的なクロールではありません。
ユーザーのリクエストによる取得ツールが robots.txt に従わない場合があるとしている OpenAI や Perplexity とは異なり、Anthropic は、同社のボットは robots.txt のディレクティブを尊重すると述べ、Claude-User を robots.txt でブロックする方法も説明しています。ブロックすると、ユーザーがあなたのページについて尋ねても、Claude はそのページを取得できなくなります。
2026-11の調査では、robots.txt を設置している人気サイトの 13.1% がこのクローラーをブロックしていました。 →
robots.txt のトークン
Claude-User
許可する方法
User-agent: Claude-User
Allow: /ブロックする方法
User-agent: Claude-User
Disallow: /本物のアクセスかどうかを確認する方法
Anthropic は、クローラーの IP アドレスを claude.com/crawling/bots.json で公開しており、この一覧に IP が載っているクローラーは Anthropic のものだとしています。ユーザーエージェントを信用せず、送信元 IP を一覧と照合してください。Anthropic は、オプトアウトに IP ブロックを使うことを勧めていません。クローラーが robots.txt を読めなくなるためです。