Google-Extended
Google-Extended は robots.txt のトークンであり、独立したクローラーではありません。Google がクロールしたコンテンツを、今後の Gemini モデルの学習や、Gemini アプリと Vertex AI でのグラウンディングに使ってよいかを制御します。Google によると、サイトが Google 検索に含まれるかどうかには影響しません。
役割
Google-Extended には独自のユーザーエージェントがありません。クロールは Google の既存のユーザーエージェントで行われ、Google-Extended トークンは制御の役割を果たします。クロール済みのコンテンツを、今後の世代の Gemini モデルの学習や、Gemini アプリと Vertex AI でのグラウンディングに使ってよいかを Google に伝えます。
Google は、Google-Extended はサイトが Google 検索に含まれるかどうかに影響しないと述べています。AI による概要などの検索の AI 機能は、このトークンではなく Googlebot のルールとスニペット制御で管理されます。
2026-11の調査では、robots.txt を設置している人気サイトの 18.1% がこのクローラーをブロックしていました。 →
robots.txt のトークン
Google-Extended
許可する方法
User-agent: Google-Extended
Allow: /ブロックする方法
User-agent: Google-Extended
Disallow: /本物のアクセスかどうかを確認する方法
ログで確認するものはありません。Google-Extended がユーザーエージェントとして現れることはないためです。その背後のリクエストは Google の通常のクローラーから届くので、逆引き DNS(googlebot.com、google.com、または googleusercontent.com)とそれに続く正引き DNS で確認するか、Google が公開している IP 範囲と照合してください。