サイトがAIクローラーをブロックしているか確認する方法

URLを貼り付けるだけで、GPTBot、ClaudeBot、PerplexityBotなどのAIクローラーをブロックしているかを確認できます。robots.txt、ファイアウォール、またはその両方を調べます。

無料 · 登録不要 · 30 秒で結果

ブロックされているクローラー

学習用、検索用、ユーザー用のクローラーを分けて表示します。GPTBotをブロックしてもOAI-SearchBotはブロックされず、ClaudeBotをブロックしてもClaude-SearchBotはブロックされないためです。

結果を決める1行

クローラーごとに、RFC 9309のルールでrobots.txtを読みます。そのクローラーを指定したグループ、なければ代わりにUser-agent: *、そして優先されるルールを見ます。

ファイアウォールによる拒否

ページを14のクローラーとして、また通常のブラウザとしてリクエストします。ブロックやチャレンジページを検出し、応答したファイアウォールを示します。

検出結果ごとの対処法

検出結果ごとに、行うべき変更を示します。無料チェックではスコアと最初の検出結果が見られます。完全なレポートは$29の買い切りです。

結論

サイトがAIクローラーをブロックできる場所は2つあります。クローラーに立ち入らないよう求めるrobots.txtと、実際に拒否するサーバーやファイアウォールです。robots.txtでクローラーごとのトークンを探し、なければUser-agent: *のグループを見ます。次に、そのクローラーとしてページを取得し、ブラウザでの結果と比べます。ブラウザ拡張機能を使えば、16のAIクローラーについてrobots.txtの確認がワンクリックで済みます。

手動で確認する3つのステップ

  1. クローラーを選ぶ

    AI企業ごとに別々のクローラーを運用しています。学習用: GPTBot、ClaudeBot。検索用: OAI-SearchBot、Claude-SearchBot、PerplexityBot。ユーザーの依頼時: ChatGPT-User、Claude-User、Perplexity-User。

  2. そのクローラーについてrobots.txtを読む

    https://example.com/robots.txtを開き、そのクローラーを指定したグループを探します。なければUser-agent: *のグループが適用されます。どちらもなければ、すべて許可されます。

  3. クローラーとしてページを取得する

    そのクローラーのユーザーエージェントでページをリクエストし、ステータスとサイズをブラウザの結果と比べます。403、チャレンジページ、または大幅に小さい200は、ファイアウォールが拒否していることを意味します。

よくある質問

robots.txtのないサイトはAIクローラーに開かれている?

robots.txtに関してはそうです。robots.txtが404ならルールがないということなので、どのクローラーもすべてのページを取得できます。ただし、ファイアウォールがクローラーをブロックすることはあります。

拡張機能はファイアウォールによるブロックも表示する?

いいえ。拡張機能はブラウザからrobots.txtを読み、サイトがクローラーに何を求めているかを示します。ファイアウォールやボット対策によるブロックを調べるには、クローラーとして送るリクエストが必要で、それはaiseewhy.comの完全なチェックが行います。

自分のものではないサイトも確認できる?

できます。robots.txtは公開されており、拡張機能が読むのは、サイトが公開しているrobots.txtとllms.txtのファイルだけです。どのクローラーも読むのと同じファイルです。

詳しいガイドを読む

変更後に自分のサイトを確認する場合でも、他人のサイトを当てにする前に調べる場合でも、「このサイトはAIクローラーをブロックしているか」という問いには明確な答えがあります。答えはどのクローラーを指すかによって変わります。AI企業は学習用、検索用、ユーザーの訪問用に別々のクローラーを動かしており、サイトはそれぞれを違う扱いにできるからです。このガイドでは、手早いものから網羅的なものまで、3つの確認方法を紹介します。

サイトはどこでAIクローラーをブロックできる?

層は3つあり、クローラーがページを使うには、そのすべてを通過する必要があります。

  • robots.txt:マナーを守るクローラーが何かを取得する前に読む、公開されたルールのファイルです。これはお願いであり、鍵ではありません。
  • サーバー、CDN、ファイアウォール:実際に何を返すかを決めます。robots.txtで許可されていても、ボット対策のルールがクローラーに403、429、あるいはチャレンジページを返すことがあります。
  • ページそのもの:本文がJavaScriptの実行後にしか表示されない場合、最初のHTMLを読むクローラーには、何にもブロックされていないのに、ほぼ空のページが届きます。

手早い確認の多くは最初の層しか見ません。残りの2つを忘れなければ、それでも良い出発点です。

1つのAIクローラーについてrobots.txtをどう読む?

ブラウザでhttps://example.com/robots.txtを開き、そのクローラーに適用されるグループを探します。グループは1行以上のUser-agent行で始まります。クローラーは、GPTBotのように自分のトークンを名指しするグループを使います。照合では大文字と小文字は区別されません。名指しするグループがなければUser-agent: *のグループを使い、どちらもなければすべて許可されます。

グループ内では、パスが最も長く一致するルールが優先され、AllowとDisallowの長さが同じならAllowが優先されます。したがって、次のファイルはGPTBotをサイト全体からブロックしますが、他のクローラーはすべて許可します。

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

ファイルの応答の仕方も確認しましょう。RFC 9309では、404はルールがないことを意味し、すべて許可されます。サーバーエラー(5xx)や応答がまったくない場合、クローラーはサイト全体を禁止として扱わなければなりません。robots.txtのアドレスがHTMLページを返すのはよくある間違いで、クローラーはそこに有効なルールを見つけられません。

すべてのAIクローラーをまとめて確認するには?

複数のクローラーを気にするようになると、手でファイルを読むのは時間がかかります。AI企業はそれぞれ、役割の違う複数のクローラーを動かしています。

  • 学習用クローラーは、モデルの学習用にコンテンツを集めます:GPTBot、ClaudeBot、CCBot、Bytespider、meta-externalagent、そしてrobots.txtにだけ現れるトークンのGoogle-ExtendedとApplebot-Extended。
  • 検索クローラーは、AIの回答が引用できるようにページをインデックスします:OAI-SearchBot、Claude-SearchBot、PerplexityBot。
  • ユーザー用クローラーは、人がアシスタントに頼んだときにページを取得します:ChatGPT-User、Claude-User、Perplexity-User。

Chrome用の無料拡張機能「AIクローラーチェッカー」なら、これがワンクリックでできます。任意のページを開いてアイコンをクリックすると、そのサイトのrobots.txtを読み、16のクローラーそれぞれについて、ページが許可されているかと、どの行がそれを決めているかを表示します。Content-Signalの設定、llms.txtの有無、robots.txtに記載されたサイトマップも表示します。ブラウザ内で動作し、アカウントは不要で、読むのはクリックしたサイトだけです。

Chromeを使わない場合は、aiseewhy.comの無料robots.txtチェッカーにURLを貼り付ければ、同じ答えが得られます。

ファイアウォールがクローラーを通しているかを確認するには?

robots.txtからわかるのは、サイトが何を求めているかです。クローラーが実際に何を受け取るかを見るには、ページを2回リクエストします。1回はブラウザとして、もう1回はクローラーのユーザーエージェントで送り、ステータスコードと応答のサイズを比べます。

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

ブラウザが200を受け取り、クローラーが403、429、503、あるいはずっと小さなページを受け取った場合、ファイアウォールやボット対策がクローラーを別扱いしています。外部からのテストには共通の制約が1つあります。テストはAI企業のネットワークではなく、あなたのネットワークから送られます。公開されたIPアドレスでクローラーを信頼するファイアウォールは、本物のクローラーを違う扱いにすることがあるため、最終的な判断はサーバーログで行います。

aiseewhy.comの完全なチェックでは、実際のブラウザと並べて16のクローラーすべてとしてページを取得し、クローラーをブロックしているファイアウォールやルールを特定し、それぞれが受け取ったテキストを比較します。

どんな結果を目指すべき?

目的によって変わります。ChatGPT検索、Claude、Perplexityで引用されたいなら、検索クローラーとユーザー用クローラーをrobots.txtで許可し、サーバーから本物のページを受け取れるようにする必要があります。コンテンツを学習に使われたくないなら、学習用トークンだけをブロックします。これらは別々の選択です。GPTBotをブロックしてもOAI-SearchBotはブロックされず、ClaudeBotをブロックしてもClaude-SearchBotはブロックされません。

この2つを混同しているサイトは少なくありません。人気上位1,000ドメインを調べた2026年11月のレポートでは、学習用クローラーをブロックしているサイトの63%が、AIの検索クローラーかユーザー用クローラーも少なくとも1つブロックしており、それらのAIの回答から自分のページを締め出しています。

無料ツール

次のステップ

この記事に登場するクローラー

参考資料

ほかの記事

公開日