サイトがAIクローラーをブロックしているか確認する方法
URLを貼り付けるだけで、GPTBot、ClaudeBot、PerplexityBotなどのAIクローラーをブロックしているかを確認できます。robots.txt、ファイアウォール、またはその両方を調べます。
無料 · 登録不要 · 30 秒で結果
ブロックされているクローラー
学習用、検索用、ユーザー用のクローラーを分けて表示します。GPTBotをブロックしてもOAI-SearchBotはブロックされず、ClaudeBotをブロックしてもClaude-SearchBotはブロックされないためです。
結果を決める1行
クローラーごとに、RFC 9309のルールでrobots.txtを読みます。そのクローラーを指定したグループ、なければ代わりにUser-agent: *、そして優先されるルールを見ます。
ファイアウォールによる拒否
ページを14のクローラーとして、また通常のブラウザとしてリクエストします。ブロックやチャレンジページを検出し、応答したファイアウォールを示します。
検出結果ごとの対処法
検出結果ごとに、行うべき変更を示します。無料チェックではスコアと最初の検出結果が見られます。完全なレポートは$29の買い切りです。
サイトがAIクローラーをブロックできる場所は2つあります。クローラーに立ち入らないよう求めるrobots.txtと、実際に拒否するサーバーやファイアウォールです。robots.txtでクローラーごとのトークンを探し、なければUser-agent: *のグループを見ます。次に、そのクローラーとしてページを取得し、ブラウザでの結果と比べます。ブラウザ拡張機能を使えば、16のAIクローラーについてrobots.txtの確認がワンクリックで済みます。
手動で確認する3つのステップ
- クローラーを選ぶ
AI企業ごとに別々のクローラーを運用しています。学習用:
GPTBot、ClaudeBot。検索用:OAI-SearchBot、Claude-SearchBot、PerplexityBot。ユーザーの依頼時:ChatGPT-User、Claude-User、Perplexity-User。 - そのクローラーについてrobots.txtを読む
https://example.com/robots.txtを開き、そのクローラーを指定したグループを探します。なければUser-agent: *のグループが適用されます。どちらもなければ、すべて許可されます。 - クローラーとしてページを取得する
そのクローラーのユーザーエージェントでページをリクエストし、ステータスとサイズをブラウザの結果と比べます。403、チャレンジページ、または大幅に小さい200は、ファイアウォールが拒否していることを意味します。
よくある質問
robots.txtのないサイトはAIクローラーに開かれている?
robots.txtに関してはそうです。robots.txtが404ならルールがないということなので、どのクローラーもすべてのページを取得できます。ただし、ファイアウォールがクローラーをブロックすることはあります。
拡張機能はファイアウォールによるブロックも表示する?
いいえ。拡張機能はブラウザからrobots.txtを読み、サイトがクローラーに何を求めているかを示します。ファイアウォールやボット対策によるブロックを調べるには、クローラーとして送るリクエストが必要で、それはaiseewhy.comの完全なチェックが行います。
自分のものではないサイトも確認できる?
できます。robots.txtは公開されており、拡張機能が読むのは、サイトが公開しているrobots.txtとllms.txtのファイルだけです。どのクローラーも読むのと同じファイルです。
詳しいガイドを読む
変更後に自分のサイトを確認する場合でも、他人のサイトを当てにする前に調べる場合でも、「このサイトはAIクローラーをブロックしているか」という問いには明確な答えがあります。答えはどのクローラーを指すかによって変わります。AI企業は学習用、検索用、ユーザーの訪問用に別々のクローラーを動かしており、サイトはそれぞれを違う扱いにできるからです。このガイドでは、手早いものから網羅的なものまで、3つの確認方法を紹介します。
サイトはどこでAIクローラーをブロックできる?
層は3つあり、クローラーがページを使うには、そのすべてを通過する必要があります。
- robots.txt:マナーを守るクローラーが何かを取得する前に読む、公開されたルールのファイルです。これはお願いであり、鍵ではありません。
- サーバー、CDN、ファイアウォール:実際に何を返すかを決めます。robots.txtで許可されていても、ボット対策のルールがクローラーに403、429、あるいはチャレンジページを返すことがあります。
- ページそのもの:本文がJavaScriptの実行後にしか表示されない場合、最初のHTMLを読むクローラーには、何にもブロックされていないのに、ほぼ空のページが届きます。
手早い確認の多くは最初の層しか見ません。残りの2つを忘れなければ、それでも良い出発点です。
1つのAIクローラーについてrobots.txtをどう読む?
ブラウザでhttps://example.com/robots.txtを開き、そのクローラーに適用されるグループを探します。グループは1行以上のUser-agent行で始まります。クローラーは、GPTBotのように自分のトークンを名指しするグループを使います。照合では大文字と小文字は区別されません。名指しするグループがなければUser-agent: *のグループを使い、どちらもなければすべて許可されます。
グループ内では、パスが最も長く一致するルールが優先され、AllowとDisallowの長さが同じならAllowが優先されます。したがって、次のファイルはGPTBotをサイト全体からブロックしますが、他のクローラーはすべて許可します。
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / ファイルの応答の仕方も確認しましょう。RFC 9309では、404はルールがないことを意味し、すべて許可されます。サーバーエラー(5xx)や応答がまったくない場合、クローラーはサイト全体を禁止として扱わなければなりません。robots.txtのアドレスがHTMLページを返すのはよくある間違いで、クローラーはそこに有効なルールを見つけられません。
すべてのAIクローラーをまとめて確認するには?
複数のクローラーを気にするようになると、手でファイルを読むのは時間がかかります。AI企業はそれぞれ、役割の違う複数のクローラーを動かしています。
- 学習用クローラーは、モデルの学習用にコンテンツを集めます:
GPTBot、ClaudeBot、CCBot、Bytespider、meta-externalagent、そしてrobots.txtにだけ現れるトークンのGoogle-ExtendedとApplebot-Extended。 - 検索クローラーは、AIの回答が引用できるようにページをインデックスします:
OAI-SearchBot、Claude-SearchBot、PerplexityBot。 - ユーザー用クローラーは、人がアシスタントに頼んだときにページを取得します:
ChatGPT-User、Claude-User、Perplexity-User。
Chrome用の無料拡張機能「AIクローラーチェッカー」なら、これがワンクリックでできます。任意のページを開いてアイコンをクリックすると、そのサイトのrobots.txtを読み、16のクローラーそれぞれについて、ページが許可されているかと、どの行がそれを決めているかを表示します。Content-Signalの設定、llms.txtの有無、robots.txtに記載されたサイトマップも表示します。ブラウザ内で動作し、アカウントは不要で、読むのはクリックしたサイトだけです。
Chromeを使わない場合は、aiseewhy.comの無料robots.txtチェッカーにURLを貼り付ければ、同じ答えが得られます。
ファイアウォールがクローラーを通しているかを確認するには?
robots.txtからわかるのは、サイトが何を求めているかです。クローラーが実際に何を受け取るかを見るには、ページを2回リクエストします。1回はブラウザとして、もう1回はクローラーのユーザーエージェントで送り、ステータスコードと応答のサイズを比べます。
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ブラウザが200を受け取り、クローラーが403、429、503、あるいはずっと小さなページを受け取った場合、ファイアウォールやボット対策がクローラーを別扱いしています。外部からのテストには共通の制約が1つあります。テストはAI企業のネットワークではなく、あなたのネットワークから送られます。公開されたIPアドレスでクローラーを信頼するファイアウォールは、本物のクローラーを違う扱いにすることがあるため、最終的な判断はサーバーログで行います。
aiseewhy.comの完全なチェックでは、実際のブラウザと並べて16のクローラーすべてとしてページを取得し、クローラーをブロックしているファイアウォールやルールを特定し、それぞれが受け取ったテキストを比較します。
どんな結果を目指すべき?
目的によって変わります。ChatGPT検索、Claude、Perplexityで引用されたいなら、検索クローラーとユーザー用クローラーをrobots.txtで許可し、サーバーから本物のページを受け取れるようにする必要があります。コンテンツを学習に使われたくないなら、学習用トークンだけをブロックします。これらは別々の選択です。GPTBotをブロックしてもOAI-SearchBotはブロックされず、ClaudeBotをブロックしてもClaude-SearchBotはブロックされません。
この2つを混同しているサイトは少なくありません。人気上位1,000ドメインを調べた2026年11月のレポートでは、学習用クローラーをブロックしているサイトの63%が、AIの検索クローラーかユーザー用クローラーも少なくとも1つブロックしており、それらのAIの回答から自分のページを締め出しています。
次のステップ
この記事に登場するクローラー
参考資料
- RFC 9309:Robots Exclusion Protocol
- OpenAI:OpenAIクローラーの概要
- Anthropic:Anthropicはウェブからデータを収集しているか、サイト運営者はクローラーをどうブロックできるか
- Perplexity:Perplexityのクローラー
- Google:一般的なクローラー(Google-Extendedを含む)
- AISeeWhy:AIクローラーアクセスレポート、2026-11