企業サイトの10件中4件がAIクローラーを拒否している

公開日

結論

米国、英国、フランスの企業サイト165件の監査では、38%が少なくとも1つのAIクローラーをサーバー側で拒否していました。ほとんどは学習用またはスクレイパー系のボットです。約10件に1件は、PerplexityBotやOAI-SearchBotなど、引用につながり得るAI検索クローラーも拒否していました。自社サイトは、クローラーごとに1回リクエストすれば確認できます。

自社の製品についてChatGPTに尋ねると、競合他社、レビューサイト、フォーラムのスレッドが挙げられることがあります。それがコンテンツの問題である場合もあります。しかし多くの場合は、ファイアウォールがAIクローラーを拒否していて、ブラウザでは問題なく表示されるため、社内の誰も気づいていないだけです。

このページの内容
  1. 何をテストしましたか?
  2. 何が分かりましたか?
  3. なぜ起こるのですか。意図的な選択はどのような場合ですか?
  4. 大規模なサイトのほうが対応できていますか?
  5. 自社サイトを10分で確認するにはどうすればよいですか?
  6. これらの数字はどの程度信頼できますか?

何をテストしましたか?

同じアドレスからページを複数回リクエストしました。1回は通常のブラウザとして、残りはOpenAIのGPTBot、OAI-SearchBot、ChatGPT-User、AnthropicのClaudeBot、Claude-SearchBot、PerplexityのPerplexityBotなど、14のAIおよび検索クローラーとして1回ずつです。ブラウザではページが返るのに、クローラーには401、403、406、429、451、503、またはチャレンジページが返る場合、そのサイトはそのクローラーを拒否しています。

対象は、米国、英国、フランスの企業サイト218件で、2026年11月18日から21日に監査しました。完全なテストを実行できたのは165件です。残りの53件は、通常のブラウザのリクエストでも拒否または無応答だったため、推測せずに除外しました。

何が分かりましたか?

なぜ起こるのですか。意図的な選択はどのような場合ですか?

その多くはおそらく意図的なものです。自社のコンテンツをモデルの学習に使われたくない所有者は多く、スクレイパーをブロックするボット対策の設定は簡単にオンにできます。それは正当な選択です。

ただし、AI企業は学習用と検索用で別々のクローラーを運用しています。学習用クローラーをブロックしても、検索用クローラーまでブロックする必要はありません。そして、回答で自社ページが引用される可能性があるのは検索用クローラーのほうです。

大規模なサイトのほうが対応できていますか?

そうとは限りません。人気上位1,000ドメインを対象にしたrobots.txtレポートでは、robots.txtを持つサイトの29.9%が少なくとも1つのAI学習用クローラーをブロックしており、そのうち63.2%は少なくとも1つのAI検索用またはユーザー用クローラーもブロックしていました。学習用だけをブロックしてAI検索クローラーをすべて許可しているサイトは11.0%にとどまります。多くのサイトが本来望んでいたのは、おそらくこの設定です。

自社サイトを10分で確認するにはどうすればよいですか?

  1. yoursite.com/robots.txtを開きます。気になるAIクローラーごとに、そのクローラーを指定したグループがあるか、グループの内容は何かを確認します。クローラー名を指定したグループは、汎用の*グループを完全に置き換えます。
  2. ファイルの記述ではなく、サーバーの実際の動作をテストします。重要なページをブラウザとクローラーの両方としてリクエストしてください。403、429、タイトルがJust a moment...のページ、ブラウザよりかなり小さい応答は、ファイアウォールによるブロックの典型的な兆候です。
  3. アシスタントに尋ねます。検索をオンにして、ChatGPTやPerplexityに購入者が尋ねる質問を投げ、どのサイトが引用されるかを確認します。アクセスに問題がないのに自社が挙がらない場合、原因はアクセスではなくコンテンツです。

これらの数字はどの程度信頼できますか?

全数調査ではなく、傾向として受け止めてください。サンプルは無作為ではなく、広告ライブラリ、求人サイト、地図の掲載情報から見つけた企業です。テストは1つのアドレスからユーザーエージェントを使って行っており、本物のクローラーはベンダーが公開するアドレスから来るため、一部のファイアウォールは本物を別扱いする可能性があります。また、ブロックが常に間違いであるとは限りません。

無料ツール

次のステップ

この記事に登場するクローラー

よくある質問

AIクローラーをブロックしているサイトはどのくらいありますか?

テストできた企業サイト165件の監査では、38%が少なくとも1つのAIクローラーをサーバー側で拒否しており、その多くは学習用とスクレイパー系のボットでした。約10%はAI検索クローラーも拒否していました。

GPTBotをブロックすると、ChatGPTの検索にも表示されなくなりますか?

いいえ。OpenAIによると、同社のクローラーに対するrobots.txtの各設定は独立しています。GPTBotは学習に、OAI-SearchBotはChatGPTの検索に関係し、一方をブロックしても他方はブロックされません。

robots.txtを使わずにクローラーをブロックするにはどうしますか?

ファイアウォール、CDN、ボット対策のルールが、クローラーに403、429、チャレンジページを返すことで実現できます。robots.txtにはこれが表れないため、クローラーとしてページをリクエストしてテストする必要があります。

クローラーを拒否することは常に間違いですか?

いいえ。学習用クローラーやスクレイパーを締め出したい所有者は多くいます。間違いになるのは、検索クローラーを意図せずブロックしてしまう場合です。ページを引用する可能性があるのは、そちらのクローラーだからです。

参考資料

ほかの記事