人気上位1万サイトのrobots.txtを読んでみた:AIクローラーへの対応の実態

公開日

結論

Tranco上位1万ドメインのうちrobots.txtを返した6,192ドメインでは、23.2%が少なくとも1つのAI学習クローラーをブロックし、12.3%が少なくとも1つのAI検索またはユーザー向けクローラーをブロックしています。学習をブロックするサイトの51.6%は、AI検索もブロックしています。AI検索クローラーをすべて許可したまま学習だけを拒否しているサイトは11.2%にとどまります。

11月に、人気上位1,000ドメインのrobots.txtを調査しました。今回は同じ方法で1万ドメインを調べ、サイトの規模が小さくなると傾向がどう変わるかも確認しました。結論は変わりません。学習のブロックと検索のブロックは本来別の判断ですが、1つの判断として扱われています。

このページの内容
  1. どのように調査しましたか?
  2. 何がわかりましたか?
  3. 最もブロックされているクローラーは?
  4. 大きなサイトほどブロックが多いのですか?
  5. 11月12日のレポート以降、変化はありましたか?
  6. robots.txtにとって何を意味しますか?
  7. この数値はどの程度信頼できますか?

どのように調査しましたか?

Tranco リスト(リストID JZWZY)の上位1万ドメインを対象に、2026年11月21日に各ドメインのホームページ、robots.txt、llms.txtをAISeeWhy独自のユーザーエージェントで1回ずつ取得しました。各robots.txtは、RFC 9309に基づき、ホームページ(/)と16のAI・検索クローラーについて判定しました。

1万ドメインのうち6,192ドメインがrobots.txtを返しました(HTMLページではない正常な応答)。1,121ドメインは4xxを返しており、これはルールなしで全クローラー許可を意味します。2,687ドメインはrobots.txtを返しませんでした(HTTPSサイトなし、エラー、タイムアウト、またはHTMLページが返った場合)。以下の割合はすべて6,192ドメインを母数としています。リストにはWebサイトを持たないCDNやAPIも含まれています。

何がわかりましたか?

最もブロックされているクローラーは?

robots.txtがそのクローラーに対してホームページを禁止している、6,192ドメインに占める割合です。

大きなサイトほどブロックが多いのですか?

はい。しかも学習と検索を混同する傾向も強くなります。リストを順位で分けて見ました。

選択的な方法は規模を問わず少なく、3つのグループでそれぞれ10.5%、10.4%、11.5%です。

11月12日のレポート以降、変化はありましたか?

同じリストで上位1,000ドメインを再調査しました。結果は約1ポイントの範囲で安定しています。学習をブロックしているのは28.6%(11月12日は29.9%)、AI検索をブロックしているのは18.6%(19.5%)、学習をブロックするサイトのうちAI検索もブロックしているのは63.1%(63.2%)です。母数が少し異なる(今回はrobots.txtありが560ドメイン、前回は518ドメイン)のは、今回は取得前にドメインのリダイレクトをたどってメインホストへ移動したためです。

robots.txtにとって何を意味しますか?

多くのAI企業は、学習用と検索用のクローラーを分けて公開し、設定は互いに独立していると説明しています。GPTBotを禁止してもOAI-SearchBotには影響せず、ClaudeBotを禁止してもClaude-SearchBotには影響しません。学習は拒否しつつ引用はされたい場合は、学習用トークンをブロックし、検索用とユーザー向けトークンは許可してください。また、名前を指定したグループは*を継承しないため、非公開にしたいパスは各グループで繰り返し記述してください。

この数値はどの程度信頼できますか?

これらはホームページに対するrobots.txtのルールを、1つのパーサーで1日だけ読み取ったものです。robots.txtが許可していてもファイアウォールが拒否する場合があり、そのブロックは測定していません。各サイトの意図もわかりません。またTrancoのリストにはWebサイトを持たないドメインも含まれます。検索クローラーをブロックするルールがあっても、誤りの証拠とは限らず、違いを知らずに選ばれた設定であることが多いというだけです。数値を引用する場合は、このページへのリンクを付けてください。

無料ツール

次のステップ

この記事に登場するクローラー

よくある質問

人気サイトのどれくらいがAIクローラーをブロックしていますか?

Tranco上位1万ドメインのうちrobots.txtを返した6,192ドメインでは、23.2%が少なくとも1つのAI学習クローラーを、12.3%が少なくとも1つのAI検索またはユーザー向けクローラーをブロックしています。

AI学習をブロックするサイトは、AI検索もブロックしていますか?

多くの場合そうです。学習クローラーをブロックするサイトの51.6%は、少なくとも1つのAI検索またはユーザー向けクローラーもブロックしています。ただし、各社はこれらを別々のクローラーとして公開し、設定も独立していると説明しています。

最もブロックされているAIクローラーはどれですか?

学習クローラーではBytespider(18.7%)とCCBot(18.5%)、次にGPTBot(17.4%)です。AI検索クローラーではPerplexityBotが最も多くブロックされており、10.4%のドメインが対象にしています。

1,000サイトのレポートと数値が異なるのはなぜですか?

上位1,000ドメインに絞ると、ほぼ同じ割合になります(28.6%と18.6%、前回は29.9%と19.5%)。1万サイト全体の数値が低いのは、小規模なサイトほどブロックが少ないためです。

参考資料

ほかの記事