企業サイトの10件中4件がAIクローラーを拒否している
米国、英国、フランスの企業サイト165件の監査では、38%が少なくとも1つのAIクローラーをサーバー側で拒否していました。ほとんどは学習用またはスクレイパー系のボットです。約10件に1件は、PerplexityBotやOAI-SearchBotなど、引用につながり得るAI検索クローラーも拒否していました。自社サイトは、クローラーごとに1回リクエストすれば確認できます。
自社の製品についてChatGPTに尋ねると、競合他社、レビューサイト、フォーラムのスレッドが挙げられることがあります。それがコンテンツの問題である場合もあります。しかし多くの場合は、ファイアウォールがAIクローラーを拒否していて、ブラウザでは問題なく表示されるため、社内の誰も気づいていないだけです。
このページの内容
何をテストしましたか?
同じアドレスからページを複数回リクエストしました。1回は通常のブラウザとして、残りはOpenAIのGPTBot、OAI-SearchBot、ChatGPT-User、AnthropicのClaudeBot、Claude-SearchBot、PerplexityのPerplexityBotなど、14のAIおよび検索クローラーとして1回ずつです。ブラウザではページが返るのに、クローラーには401、403、406、429、451、503、またはチャレンジページが返る場合、そのサイトはそのクローラーを拒否しています。
対象は、米国、英国、フランスの企業サイト218件で、2026年11月18日から21日に監査しました。完全なテストを実行できたのは165件です。残りの53件は、通常のブラウザのリクエストでも拒否または無応答だったため、推測せずに除外しました。
何が分かりましたか?
- テストできたサイトの38%(165件中63件)が、少なくとも1つのAIクローラーを拒否していました。
- それらのサイトはすべて、学習用またはスクレイパー系のクローラーを少なくとも1つ拒否していました。
Bytespiderは全サイトの35%、ClaudeBotは13%、GPTBotは11%が拒否していました。 - 10%のサイト(16件)は、AI検索クローラーも少なくとも1つ拒否していました。5%(8件)は、ユーザーがアシスタントに尋ねたときにページをその場で開くクローラーを拒否していました。
- 特に影響の大きい検索クローラーは、
PerplexityBot(11サイト)とOAI-SearchBot(5サイト)でした。 - テストしたクローラーを何らかの形で拒否した66サイトのうち、32サイトの背後にはCloudflareがありました。別の30サイトでは、どのファイアウォールが応答したのか特定できませんでした。
なぜ起こるのですか。意図的な選択はどのような場合ですか?
その多くはおそらく意図的なものです。自社のコンテンツをモデルの学習に使われたくない所有者は多く、スクレイパーをブロックするボット対策の設定は簡単にオンにできます。それは正当な選択です。
ただし、AI企業は学習用と検索用で別々のクローラーを運用しています。学習用クローラーをブロックしても、検索用クローラーまでブロックする必要はありません。そして、回答で自社ページが引用される可能性があるのは検索用クローラーのほうです。
大規模なサイトのほうが対応できていますか?
そうとは限りません。人気上位1,000ドメインを対象にしたrobots.txtレポートでは、robots.txtを持つサイトの29.9%が少なくとも1つのAI学習用クローラーをブロックしており、そのうち63.2%は少なくとも1つのAI検索用またはユーザー用クローラーもブロックしていました。学習用だけをブロックしてAI検索クローラーをすべて許可しているサイトは11.0%にとどまります。多くのサイトが本来望んでいたのは、おそらくこの設定です。
自社サイトを10分で確認するにはどうすればよいですか?
yoursite.com/robots.txtを開きます。気になるAIクローラーごとに、そのクローラーを指定したグループがあるか、グループの内容は何かを確認します。クローラー名を指定したグループは、汎用の*グループを完全に置き換えます。- ファイルの記述ではなく、サーバーの実際の動作をテストします。重要なページをブラウザとクローラーの両方としてリクエストしてください。403、429、タイトルが
Just a moment...のページ、ブラウザよりかなり小さい応答は、ファイアウォールによるブロックの典型的な兆候です。 - アシスタントに尋ねます。検索をオンにして、ChatGPTやPerplexityに購入者が尋ねる質問を投げ、どのサイトが引用されるかを確認します。アクセスに問題がないのに自社が挙がらない場合、原因はアクセスではなくコンテンツです。
これらの数字はどの程度信頼できますか?
全数調査ではなく、傾向として受け止めてください。サンプルは無作為ではなく、広告ライブラリ、求人サイト、地図の掲載情報から見つけた企業です。テストは1つのアドレスからユーザーエージェントを使って行っており、本物のクローラーはベンダーが公開するアドレスから来るため、一部のファイアウォールは本物を別扱いする可能性があります。また、ブロックが常に間違いであるとは限りません。
次のステップ
この記事に登場するクローラー
よくある質問
AIクローラーをブロックしているサイトはどのくらいありますか?
テストできた企業サイト165件の監査では、38%が少なくとも1つのAIクローラーをサーバー側で拒否しており、その多くは学習用とスクレイパー系のボットでした。約10%はAI検索クローラーも拒否していました。
GPTBotをブロックすると、ChatGPTの検索にも表示されなくなりますか?
いいえ。OpenAIによると、同社のクローラーに対するrobots.txtの各設定は独立しています。GPTBotは学習に、OAI-SearchBotはChatGPTの検索に関係し、一方をブロックしても他方はブロックされません。
robots.txtを使わずにクローラーをブロックするにはどうしますか?
ファイアウォール、CDN、ボット対策のルールが、クローラーに403、429、チャレンジページを返すことで実現できます。robots.txtにはこれが表れないため、クローラーとしてページをリクエストしてテストする必要があります。
クローラーを拒否することは常に間違いですか?
いいえ。学習用クローラーやスクレイパーを締め出したい所有者は多くいます。間違いになるのは、検索クローラーを意図せずブロックしてしまう場合です。ページを引用する可能性があるのは、そちらのクローラーだからです。
参考資料
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)