AISeeWhy
JA
無料トライアル

Google-Extendedをブロックすると、AI OverviewsとAI Modeから外れる？

公開日

結論

Googleのドキュメントによれば、外れません。Google-Extendedが制御するのは、Geminiモデルの学習と、Gemini AppsおよびVertex AIでのグラウンディングへのコンテンツの利用です。AI OverviewsとAI Modeは、検索のためにGooglebotがクロールしたページを利用します。これらを制限する方法として、Googleはスニペットのコントロール、noindex、サイトをこれらの機能から除外するSearch Consoleの設定を挙げています。

Google-Extendedは、サイトをGoogleのAIから遠ざける手段としてよく説明されます。それは一部しか当たっておらず、そのずれが両方向の混乱を生んでいます。AI Overviewsから消えることを期待してブロックしても何も変わらないサイトもあれば、検索トラフィックを失うことを恐れて使わないサイトもあります。Google自身のドキュメントは、各コントロールが何をするのかをかなり具体的に説明しています。ここでは、その内容と、ページ間で記述が完全には一致していない点、そしてサイトで確認すべきことをまとめます。

このページの内容
  1. Google-Extendedとは？
  2. Google-Extendedをブロックすると、AI OverviewsやAI Modeに影響する？
  3. AI OverviewsやAI Modeに表示されるかどうかは、何で決まるのか
  4. 代わりにGooglebotをブロックするとどうなる？
  5. Googleがサイトで何を見ているか確認するには？
  6. AI Overviewsからのトラフィックはどこで見られる？

Google-Extendedとは？

Googleは、Google-Extendedをパブリッシャーがrobots.txtで使える独立したプロダクトトークンと説明しています。専用のクローラーもユーザーエージェント文字列もありません。ページを取得するのはGoogleの既存のクローラーで、このトークンはそのコンテンツの利用方法を制御します。

Googleのクローラーのドキュメントによると、対象となる用途は2つです。Gemini AppsとGemini向けVertex AI APIを支えるGeminiモデルの今後の世代の学習と、グラウンディング、つまりプロンプト時にGoogle検索インデックスのコンテンツをモデルに与えることです。グラウンディングは、Gemini AppsとVertex AIのGrounding with Google Searchで使われます。同じページには、Google-ExtendedはサイトのGoogle検索への掲載に影響せず、ランキングシグナルとしても使われないと書かれています。

User-agent: Google-Extended
Disallow: /

Google-Extendedをブロックすると、AI OverviewsやAI Modeに影響する？

Googleのドキュメントは、AI OverviewsやAI Modeを、Google-Extendedが制御する用途として挙げていません。AI機能に関するGoogleのガイドには、ページがインデックスされ、スニペット付きでGoogle検索に表示できる状態であれば、追加の技術的要件なしに、AI OverviewsやAI Modeで補足リンクとして表示される対象になると書かれています。検索でのクロールを制御するものとして挙げているのは、Google-ExtendedではなくGooglebot向けのrobots.txtのルールです。

したがって、Googleの説明によれば、Googlebotがクロールとインデックスを行え、スニペットを表示できるページは、Google-Extendedを禁止していても、AI OverviewsやAI Modeに表示される可能性があります。

はっきり述べておくべき微妙な点が1つあります。新しいAIコントロールに関するGoogleのSearch Consoleヘルプのページには、検索の生成AI機能で回答を生成するモデルの学習を制限するにはGoogle-Extendedを使うと書かれています。一方、このトークンに関するGoogleのクローラーのドキュメントが挙げているのは、Gemini AppsとVertex AIだけです。2つのページで範囲の記述が異なります。ただし、どちらも、このトークンをブロックするとサイトがAI Overviewsから外れるとは書いていません。

AI OverviewsやAI Modeに表示されるかどうかは、何で決まるのか

Googleは、範囲の狭いものから広いものの順に、次のコントロールを文書化しています。

Googleはまた、AI OverviewsやAI Modeに表示されるために、schema.orgの特別なマークアップやその他の最適化は必要ないと述べています。

代わりにGooglebotをブロックするとどうなる？

Googlebotのブロックは、最も強力な手段です。Googleによると、このクローラー宛てのクロール設定は、DiscoverやすべてのSearch機能を含め、Google検索に影響します。Googlebotを禁止したサイトは、通常の検索結果に加えて、AI OverviewsとAI Modeでの引用も失います。

大規模なサイトで行っているところはほとんどありません。人気上位1,000ドメインのrobots.txtを調べた私たちの調査では、robots.txtのある518サイトのうち94サイト（18.1%）がGoogle-Extendedにホームページを禁止していたのに対し、Googlebotに禁止していたのは14サイト（2.7%）だけでした。この調査が対象としているのはホームページのrobots.txtのルールだけで、各サイトがそのルールに何を期待していたかまではわかりません。

Googleがサイトで何を見ているか確認するには？

ページがAI OverviewsやAI Modeに出てこない場合は、通常の検索結果と同じ流れで確認します。

すべての確認を通過しても、クエリごとにどのページを表示するかを決めるのはGoogleです。対象になることと、表示されることは同じではありません。

AI Overviewsからのトラフィックはどこで見られる？

Googleによると、AI機能に表示されたサイトからのトラフィックは、Search Consoleのパフォーマンスレポートの検索トラフィック全体に含まれます。2026年のコントロールにあわせて、Googleは、AIレスポンスに表示されたページとインプレッションを示す、生成AIインサイトをSearch Consoleに追加することも発表し、今後さらに指標を追加するとしています。Google-Extendedは専用のユーザーエージェントがないため、サーバーのログで確認することはできません。

AISeeWhyは、GooglebotとGoogle-Extendedの両方についてrobots.txtを確認し、Googleのクローラーにブラウザと同じページが返るかをテストし、ページをAI OverviewsやAI Modeから遠ざけるnosnippetとnoindexのルールを報告します。

よくある質問

Google-Extendedをブロックすると、Googleでの順位は下がる？

Googleは、Google-ExtendedはGoogle検索への掲載に影響せず、ランキングシグナルとしても使われないと述べています。

Google検索には残しつつ、AI Overviewsには表示させないようにするには？

Googleは、Search Consoleで「検索の生成AI」設定を提供しており、検索のそのほかの部分に影響を与えずに、サイトをAI Overviews、AI Mode、Discoverの生成AI機能から除外できます。nosnippetとmax-snippetも直接の入力としての利用を制限しますが、通常のスニペットも変わります。

Search ConsoleのAI設定は、AIの学習を止める？

いいえ。Googleのヘルプページには、この設定は学習を対象としておらず、学習についてはGoogle-Extendedを使うと書かれています。

AI Overviewsに表示されるために、特別なマークアップは必要？

Googleは、追加の要件や、特別なschema.org構造化データは必要ないと述べています。ページがインデックスされ、スニペットを表示できる状態であることが条件です。

Google-Extendedは、ファイアウォールでブロックできるクローラー？

できません。専用のユーザーエージェントがないため、ファイアウォールからは見えません。robots.txtのトークンとしてのみ機能します。Googleの実際のクローラーをファイアウォールでブロックすると、検索に影響します。

参考資料

ほかの記事