Geminiは自社サイトを見られる?確認方法

公開日 · 更新日

結論

Geminiがグラウンディングした回答でページを使えるのは、そのページがGoogle検索のインデックスにあり、robots.txtがGoogle-Extendedトークンを禁止していない場合だけです。Googleによると、Geminiアプリのグラウンディングでは、Google検索のインデックスにあるコンテンツがモデルに渡され、その利用可否をGoogle-Extendedが制御します。まずSearch Consoleでインデックス登録を確認し、robots.txtでGooglebotとGoogle-Extendedを確認してから、購入検討者が尋ねる質問をGeminiに聞いて情報源を開いてください。

Geminiには、ほかのアシスタントのようにログで探せる専用のクローラーがありません。Googleは既存のクローラーでクロールし、そのコンテンツをGeminiが何に使えるかはrobots.txtのトークンで決まります。そのため確認方法も異なります。大部分はGoogle Search Consoleとrobots.txtで行い、最後のステップをGemini自体で行います。

このページの内容
  1. 5分でできる確認手順
  2. Geminiはウェブサイトの情報をどう取得する?
  3. Googleにページがインデックス登録されているか確認するには?
  4. Google-ExtendedがGeminiによるサイトの利用を止めている?
  5. ブラウザは通れるのにファイアウォールがGoogleをブロックすることはある?
  6. Geminiが自社サイトを使っているか、引用しているかを確認するには?
  7. AI Overviews、AI Mode、スニペットのルールはGeminiに影響する?
  8. AISeeWhyはこれをどう確認する?

5分でできる確認手順

  1. Googleで site: とページのアドレスを組み合わせて検索するか、Search ConsoleのURL検査を使って、ページがGoogleのインデックスに登録されていることを確認します。
  2. robots.txtを開き、Googlebot がページを取得できること、そしてオプトアウトを選んだのでない限り Google-Extended が禁止されていないことを確認します。
  3. AISeeWhyでページを無料チェックするか、Googlebot のユーザーエージェントでリクエストを1回送ります。ステータス200と、ブラウザーと同じテキストが返る必要があります。
  4. ページが答えている質問をGeminiに尋ね、回答の下に表示される情報源を開きます。

ページがインデックスに登録されていなければ、Geminiのグラウンディングはそのページを使えないので、ステップ1から始めてください。以下のセクションでは、各ステップと、問題があった場合の対処法を説明します。

Geminiはウェブサイトの情報をどう取得する?

GoogleのGeminiアプリのプライバシーハブによると、Geminiの回答の一部は検索結果に基づいてグラウンディングされています。Googleのクローラーのドキュメントでは、グラウンディングを、事実性と関連性を高めるために、プロンプトの時点でGoogle検索のインデックスにあるコンテンツをモデルに渡すことと定義しています。同じページには、Google-Extendedが、Googleのクロールしたコンテンツを、Geminiモデルの学習、Gemini Appsでのグラウンディング、Vertex AIの「Grounding with Google Search」に使ってよいかを制御すると書かれています。

Google-Extendedには専用のユーザーエージェント文字列がありません。Googleによると、クロールは既存のユーザーエージェントで行われ、このトークンはrobots.txtでの制御としてのみ機能します。実際には、Geminiがページを使うための条件は2つになります。Googleのインデックスにページがあること、そしてrobots.txtがそのページについてGoogle-Extendedを禁止していないことです。

Geminiがインデックス内のどのページを使い、引用するかをどう選ぶのかを、Googleは公開していません。2つの条件を満たせばページは利用可能になりますが、Geminiに選ばれることが保証されるわけではありません。

Googleにページがインデックス登録されているか確認するには?

Google Search ConsoleのURL検査ツールを使います。インデックスに登録されたバージョンについて、次の情報が表示されます。

「公開URLをテスト」はページをリアルタイムで取得し、「テスト済みのページを表示」ではスクリーンショットとGoogleが受け取ったHTMLを確認できます。スクリーンショットがチャレンジページだったり、HTMLに本文がなかったりすれば、Googleにも、したがってGeminiにも、コンテンツは見えていません。「インデックス登録をリクエスト」はURLの再クロールをGoogleに依頼します。Googleによると通常は1日ほどかかり、インデックス登録は保証されません。

Google-ExtendedがGeminiによるサイトの利用を止めている?

robots.txtを開き、Google-Extendedを指定しているグループを探します。そこにDisallow: /があれば、Geminiの学習にもGemini Appsでのグラウンディングにもページを使わないようGoogleに伝えていることになります。Googleによると、このトークンはGoogle検索への掲載に影響せず、ランキングシグナルでもありません。そのため、このブロックは見落としやすく、検索からのトラフィックは普段どおりなのに、Geminiはページを根拠に回答できない、という状態になります。このトークンが検索で何を制御し、何を制御しないかは、AI OverviewsとGoogle-Extendedについての別記事で解説しています。

このトークンはリクエストに現れないため、curlでテストすることも、ログで見つけることもできません。確認する方法はファイルを読むことだけです。

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

照合で大文字と小文字は区別されず、Google-Extendedを指定するグループがなければ、*のグループが適用されます。AIの学習が話題になり始めた頃に、このブロックを追加したサイトは少なくありません。人気上位1,000ドメインを対象にした当社の調査では、robots.txtのある518サイトのうち114サイトがGoogle-Extendedを指定し、94サイト(18.1%)がトップページを禁止していました。グラウンディングも対象になることを踏まえて、今もそれが望む設定かどうかを判断してください。

ブラウザは通れるのにファイアウォールがGoogleをブロックすることはある?

あります。ボット対策やレート制限がGoogleのクローラーに403、429、チャレンジページを返すと、Googleはページをクロールできず、やがてページが検索から外れ、それに伴ってGeminiのグラウンディングからも外れることがあります。ここで最も確実なテストはURL検査です。Googleは自社のアドレスから取得するからです。自分のパソコンからのcurlテストでわかるのは、ルールがユーザーエージェントをどう扱うかだけです。

Googleを安全に許可するには、名前を信用するのではなく、訪問者を検証します。Googleは逆引きDNSのあとに正引きDNSを行う手順を公開し、主要なクローラーのIP範囲をcommon-crawlers.jsonで公開しています。

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

例のアドレスをログにあるアドレスに置き換えてください。2つの照会結果が一致しなければ、そのリクエストはGoogleを名乗っているだけです。

Geminiが自社サイトを使っているか、引用しているかを確認するには?

自社サイト名を出さずに購入検討者が尋ねる質問をGeminiに聞き、情報源を開きます。Googleのヘルプセンターによると、「ソース」ボタンは回答の下部またはインラインに表示され、公開ウェブサイトを含む関連リンクのパネルが開きます。「ソース」ボタンがなければ、その回答ではGeminiはリンクを示しておらず、すべての回答にリンクが含まれるわけではないとGoogleも説明しています。どのドメインが表示されたかを記録し、同じ質問を数週間にわたって繰り返してください。

開発者は、Gemini APIの「Grounding with Google Search」で同じテストを実行できます。Googleによると、この機能はモデルをリアルタイムのウェブコンテンツにつなぎ、グラウンディングされた回答には各情報源のURLとタイトルを含む引用がつくため、自社ドメインが含まれるか確認できます。APIの回答は、Geminiアプリでの表示と異なることがあります。

Gemini関連の取得のなかには、実際にサーバーに届くものもあります。Googleはユーザーがトリガーするフェッチャーとして、ユーザーがGemini Notebookプロジェクトにソースとして追加したURLをリクエストするGoogle-GeminiNotebookや、ユーザーの依頼を受けてGoogleのインフラ上で動作するエージェントが使うGoogle-Agentを挙げています。Googleによると、これらのフェッチャーはユーザーの依頼による取得なので、通常robots.txtを無視します。これらの訪問は、人々がそうした製品を通じてページを開いていることを示しますが、上で説明したグラウンディングの経路とは別のものです。

AI Overviews、AI Mode、スニペットのルールはGeminiに影響する?

AI OverviewsとAI ModeはGoogle検索の機能で、独自の制御方法があります。Googleは、ページから表示される内容を制限する方法としてnosnippet、data-nosnippet、max-snippet、noindexを挙げています。robots メタタグのドキュメントには、nosnippetはコンテンツがAI OverviewsやAI Modeへの直接の入力として使われることも防ぎ、max-snippetは使われる量を制限すると書かれています。Search Consoleには、サイトをAI Overviews、AI Mode、Discoverの生成AI機能から除外できる、サイト全体に適用される検索の生成AIの設定もあります。

これらのページはいずれもGeminiアプリに触れていません。スニペットのルールやSearch Consoleの設定がGeminiのグラウンディングを変える、あるいはGoogle-ExtendedがAI Overviewsを変える、と考えないでください。例外はnoindexです。Googleのグラウンディングの定義からすると、検索インデックスにないページはグラウンディングに使えません。忘れているスニペットのルールを見つけるには、HTMLとヘッダーを確認します。

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhyはこれをどう確認する?

無料のAISeeWhyチェックは、本物のブラウザと並べて、GooglebotをはじめとするAIクローラーと検索クローラーとしてページを取得し、Google-Extendedトークンを含めてそれぞれにrobots.txtを適用し、チャレンジページを識別し、JavaScriptなしでどれだけのテキストが届くかを表示します。有料プランで使える「AIでの可視性」チェックは、お客様自身のキーを使い、Google検索によるグラウンディングをオンにしたGemini APIで質問を実行し、ブランドやドメインが言及・引用されているかを表示します。AI OverviewsやAI Modeには問い合わせません。

無料ツール

次のステップ

この記事に登場するクローラー

よくある質問

Geminiが自社サイトを見られるか、無料で確認できますか?

はい。Search Console、site: 検索、robots.txt、Geminiへの質問はどれも無料です。AISeeWhyの無料チェックでは、1日1ページ、Googlebot、Google-Extended のルール、その他14種類のクローラーをテストできます。

Geminiには専用のクローラーがある?

グラウンディング用にはありません。Googleによると、Google-Extendedにはユーザーエージェント文字列がなく、クロールは既存のクローラーで行われます。これとは別に、Google-GeminiNotebookやGoogle-Agentなどのユーザーがトリガーするフェッチャーがユーザーの依頼でページを訪れますが、Googleによるとこれらは通常robots.txtを無視します。

Google-Extendedをブロックしても、Geminiは自社ブランドに言及できる?

Googleは、Gemini Appsでのグラウンディングにそのコンテンツを使わないとしています。このルールの対象は自社のページです。自社について書いているほかのサイトのコンテンツについてGoogleは何も述べていないため、Geminiがそうした情報源からブランド名を挙げる可能性はあります。

robots.txtの変更がGeminiに反映されるまでの時間は?

Googleは、Geminiについての時間を示していません。robots.txtのドキュメントによると、Googleは通常このファイルを最大24時間キャッシュするため、再テストまで少なくとも1日、Googleがあまり再クロールしないページならもっと長く待ってください。

AI OverviewsとGeminiは同じ情報源を使う?

両者の関係をGoogleは公開していません。どちらもGoogleのインデックスを利用しますが、制御方法が異なります。AI OverviewsとAI Modeにはスニペットのルールと Search Consoleの設定、GeminiのグラウンディングにはGoogle-Extendedです。別々に確認してください。

Geminiの回答を継続的に追跡するには?

購入検討者の質問を固定したリストを用意し、定期的にGeminiに聞いて、情報源に表示されたドメインを記録します。AISeeWhyの「AIでの可視性」チェックは、Google検索によるグラウンディングをオンにしたGemini APIで質問を毎週実行し、最大4社の競合と並べて言及を表示します。APIの結果は、Geminiアプリと異なることがあります。

参考資料

ほかの記事