Claudeは自社サイトを見られる?確認方法
Claudeがページを読めるのは、robots.txtがAnthropicのエージェントを許可し、サーバーがブラウザと同じHTMLを返す場合だけです。robots.txtでClaude-SearchBotやClaude-Userを禁止していないこと、ファイアウォールが403やチャレンジページを返していないこと、本文が最初に返るHTMLに含まれていることを確認します。そのうえでClaude自体でテストします。ウェブ検索をオンにしてチャットにURLを貼り、購入検討者が尋ねる質問をしてみてください。
Claudeに自社製品について聞いたのにほかのサイトが引用されたら、最初に確かめるべきは、そもそもClaudeが自社サイトにアクセスできるかどうかです。これは検証できます。Anthropicは自社エージェントのrobots.txtトークンとアクセス元のIPアドレスを公開しており、Claudeは使った情報源を表示します。そのため、robots.txtの内容、サーバーが返す内容、ログに残る記録、ページを渡したときのClaudeの動作を、順に1つずつ確認できます。
このページの内容
5分でできる確認手順
- robots.txtを開き、
Claude-SearchBot、Claude-User、User-agent: *のどのグループもそのページを禁止していないことを確認します。ClaudeBotが関係するのは学習だけです。 - AISeeWhyでページを無料チェックするか、
Claude-Userのユーザーエージェントでリクエストを1回送ります。ステータス200と、ブラウザーと同じテキストが返る必要があります。 - アクセスログで
Claude-SearchBotとClaude-Userを検索し、受け取ったステータスコードを確認します。 - Web検索をオンにしたClaudeにURLを貼り付けてページの要約を依頼し、次に購入を検討している人が尋ねる質問をして、引用を確認します。
ステップ1か2で問題が見つかったら、まずアクセスを直してください。方法は以下のセクションで説明しています。Claudeがページを読めるのに引用しない場合は、コンテンツを改善してください。
Claudeはどのようにウェブサイトを読む?
Claudeがウェブにアクセスする方法は2つあります。ウェブ検索では、質問に最新の情報が必要なときに検索し、複数の情報源を確認して、引用つきで回答します。Anthropicのヘルプセンターによると、ウェブ検索を使った回答にはすべて引用が含まれます。また、特定のリンクを渡されると、Claudeはそのページを直接開くことができます。
Anthropicはこのために3つのエージェントを公開しており、それぞれに専用のrobots.txtトークンがあります。Claude-SearchBotはClaudeの検索結果を改善するためにクロールし、Claude-Userはユーザーの質問に必要なときにページを取得し、ClaudeBotは学習に使われる可能性のあるコンテンツを収集します。それぞれの役割は、Anthropicの3つのクローラーについての別記事で詳しく解説しています。読まれて引用されるために確認すべきなのは、最初の2つです。
正直に言うと限界もあります。Claudeのウェブ検索がどの検索インデックスを使い、どう情報源を選ぶのかを、Anthropicは公開していません。Anthropicによると、Claude-SearchBotをブロックすると検索結果での可視性が下がる可能性があり、Claude-Userをブロックするとユーザーの質問に応じた取得ができなくなります。両方を許可すれば引用される可能性は生まれますが、引用が保証されるわけではありません。
robots.txtでClaudeがサイトにアクセスできるか確認するには?
https://yourdomain.com/robots.txtを開き、Claude-SearchBotまたはClaude-Userを指定しているグループを探します。どちらも指定されていなければ、両方ともUser-agent: *のグループに従います。RFC 9309ではトークンの照合で大文字と小文字は区別されず、該当するグループにDisallow: /があれば、そのエージェントに対してサイト全体が閉じられます。
レスポンス自体も確認します。robots.txtがサーバーエラーを返すと、クローラーはすべて禁止されているとみなします。404はルールがないという意味です。次の2つのコマンドで、ステータスとファイル内のすべてのグループを確認できます。
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Anthropicによると、ルールは各サブドメインの最上位にあるrobots.txtに書く必要があるため、blog.example.comには専用のファイルが必要です。こうしたブロックは珍しくありません。人気上位1,000ドメインを対象にした当社の調査では、robots.txtを返した518サイトのうち67サイト(12.9%)がClaude-SearchBotに、68サイト(13.1%)がClaude-Userにトップページを禁止しており、学習用クローラーのClaudeBotに対しては110サイト(21.2%)が禁止していました。
Claudeのエージェントがサーバーから何を受け取るかをテストするには?
robots.txtはお願いであり、アクセス制御ではありません。ファイアウォール、CDN、ボット対策は、自分のブラウザには通常どおりページを表示しながら、Anthropicのエージェントには403、429、チャレンジページを返すことがあります。AnthropicはボットがCAPTCHAの回避を試みないとしているため、チャレンジページが返された時点で訪問は終わります。
同じURLを、ブラウザのユーザーエージェントとAnthropicの各トークンでリクエストし、ステータスとサイズを比べます。
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropicのヘルプページはトークン名を挙げていますが、完全なユーザーエージェント文字列は公開していません。そのため、これはAnthropicの実際の文字列ではなく、テスト用の文字列です。名前で照合するルールがリクエストをどう扱うかがわかります。Claudeの行だけが403、429、503になる場合や、200でもブラウザよりずっと小さい場合は、ファイアウォールが原因です。
このテストは自分のIPアドレスから送られます。Anthropicによると、claude.com/crawling/bots.jsonのリストにあるアドレスからのリクエストはAnthropicのものです。ファイアウォールが検証済みクローラーをIPで許可している場合、本物のエージェントは通過してテストだけがブロックされることもあれば、その逆もありえます。このリストはAnthropicをブロックするためではなく、許可するために使ってください。IPでブロックするとボットがrobots.txtも読めなくなるため、AnthropicはIPブロックを勧めていません。
Claudeが実際にサイトを訪れているかを確認するには?
アクセスログを見れば直接わかります。3つのトークンで検索し、アクセス元アドレスがAnthropicの公開する範囲に含まれるかを確認します。ユーザーエージェント名は誰でもまねできるからです。
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' 1つ目のコマンドは、一般的なcombinedログ形式(フィールド1がクライアントのアドレス、フィールド9がステータスコード)を前提にしています。Anthropicのエージェントに403や429が多く返っていれば、ファイアウォールの問題で間違いありません。Claude-SearchBotの訪問がまったくない場合にわかるのは、まだそのページをクロールしていないか、もっと手前で何かが止めているということだけです。
自社ページでClaude自体をテストするには?
チャットを開き、自社ページのURLを貼って「このページを要約して」のように頼みます。Anthropicのヘルプセンターによると、ウェブ検索がオンなら、Claudeは渡されたリンクを開けます。ウェブ検索がオフの場合は+メニューからオンにします。Anthropicの新しいClaudeの画面にはこの切り替えがなく、役立つ場面でClaudeが自動的に検索します。TeamプランとEnterpriseプランでは、まずオーナーが組織でウェブ検索を有効にする必要があります。ブラウザでは開けるのにClaudeがページを開けない場合は、ファイアウォールのテストに戻ってください。
次に、自社サイト名を出さずに購入検討者が尋ねる質問をし、引用された情報源を開きます。AnthropicによるとClaudeは地域に合わせた結果を出すためにIPアドレスから推定した位置情報を使うことがあるため、回答は場所や実行ごとに変わることがあります。
開発者はClaude APIで同じことを再現できます。ウェブ検索ツールはallowed_domainsリストを受け付けるので、自社ドメインに限定したリクエストを送れば、ある質問に対してClaudeの検索が自社のページを返すかどうかがわかります。
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' 検索結果が空なら、Claudeの検索はその質問についてそのドメインで何も見つけなかったということです。AnthropicはAPIのウェブ検索について、トークンとは別に料金を請求します。APIのウェブ取得ツールは、ページを読めなかった理由も返します。url_not_allowedはrobots.txtなどによるブロック、url_not_accessibleはHTTPエラーを意味します。APIの回答は、Claudeのアプリでの表示と異なることがあります。
Claudeがページを読めるのに引用しないときは?
まず、必要なテキストがサーバーの返すHTMLに含まれているかを確認します。AnthropicのAPIドキュメントには、ウェブ取得ツールはJavaScriptでレンダリングされるサイトに対応していないと書かれており、Anthropicはクローラーがスクリプトを実行するとは説明していません。curlでページを取得し、本文の一文を出力の中で検索してください。見つからなければ、サーバーサイドレンダリングかプリレンダリングで、Claudeにもほかの多くのAIクローラーにも対応できます。
その先はページ自体の内容しだいです。ページの主な問いへの答えを冒頭の数文に置き、人々が尋ねる質問に合った見出しを使い、発行者名と日付を示します。そのうえで、同じ質問に対してClaudeが引用するページと自社のページを比べてください。引用されるページのほうが、その質問に直接答えていることがよくあります。
AISeeWhyはこれをどう確認する?
無料のAISeeWhyチェックは、本物のブラウザと並べて、Claude-SearchBot、Claude-User、ClaudeBotをはじめとするAIクローラーと検索クローラーとしてページを取得し、それぞれにrobots.txtを適用し、チャレンジページを識別し、JavaScriptなしでどれだけのテキストが届くかを表示します。有料プランで使える「AIでの可視性」チェックは、お客様自身のAPIキーを使い、ウェブ検索をオンにしたClaudeで質問を実行し、ブランドやドメインが言及・引用されているかを表示します。
次のステップ
この記事に登場するクローラー
よくある質問
Claudeが自社サイトを見られるか、無料で確認できますか?
はい。robots.txt、curlリクエスト、サーバーログ、Claudeへの質問はどれも無料です。AISeeWhyの無料チェックでは、アカウントなしで1日1ページ、Anthropicのエージェントとその他13種類のクローラーをテストできます。
Claudeにリンクを貼ってもサイトを開けないのはなぜ?
よくある原因は、ファイアウォールやボット対策がAnthropicのエージェントに403やチャレンジページを返している、robots.txtのルールがClaude-Userを禁止している、テキストがJavaScriptの実行後にしか現れない、のいずれかです。curlでブラウザとして、またClaudeのトークンとしてURLをテストし、ログでブロックされたリクエストを確認してください。
Anthropicはテストに使えるユーザーエージェント文字列を公開している?
AnthropicのクローラーのヘルプページはClaudeBot、Claude-SearchBot、Claude-Userというトークンを挙げていますが、完全なユーザーエージェント文字列は載せていません。本物のAnthropicのトラフィックと偽物を見分けるには、アクセス元IPをclaude.com/crawling/bots.jsonのリストと照らし合わせます。
robots.txtの変更がClaudeに反映されるまでの時間は?
Anthropicは時間を示していません。RFC 9309では、クローラーはキャッシュしたrobots.txtを24時間を超えて使うべきではないとされているため、ログやClaudeの回答で結果を判断する前に、少なくとも1日待ってください。
Claude APIとClaudeのアプリは同じ回答を返す?
必ずしもそうではありません。アプリはおおよその位置情報や独自の設定を使うことがありますが、APIリクエストは送信したツールとパラメーターを使います。APIの結果は、各ユーザーが見る画面の再現ではなく、繰り返し実行できるテストとして扱ってください。
Claudeが自社ブランドに言及しているか知るには?
ウェブ検索をオンにしたClaudeに購入検討者が尋ねる質問をし、自社サイトの名前が挙がるか、引用されるか、代わりにどの競合が出てくるかを記録します。回答は変わるため、各質問を数週間にわたって繰り返してください。AISeeWhyの「AIでの可視性」チェックは、お客様のキーを使ってClaude APIでこれを毎週実行し、最大4社の競合と並べて表示します。
参考資料
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic:クローラーのIPアドレス一覧(bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy:AIクローラーアクセスレポート、2026-11