Googlebot
Googlebot は、Google が検索インデックスを構築するための主要なクローラーです。Google によると、Googlebot に対する robots.txt のルールは、AI による概要や AI モードなどの AI 機能を含め、検索向けにサイトがどうクロールされるかを制御します。ブロックすると、ページは Google 検索とそれらの AI 回答から消えます。
役割
Googlebot は、Google の検索インデックスを構築するための情報を見つけるために使われます。Googlebot トークンに向けたクロール設定は、Google 検索のほか、Google 画像検索、動画、Google ニュース、Discover などの製品に影響します。スマートフォン用とパソコン用の両方のクローラーとして動作し、どちらも同じ Googlebot のルールに従います。Google によると、同社の一般的なクローラーは自動クロール時に常に robots.txt に従います。
Google の AI 機能に関するドキュメントは、Googlebot のルールを AI による概要や AI モードを含む検索の制御手段として説明し、表示内容を制限するには nosnippet、data-nosnippet、max-snippet、noindex を使うよう案内しています。Gemini の学習への利用は、Google-Extended で別に制御されます。
2026-11の調査では、robots.txt を設置している人気サイトの 2.7% がこのクローラーをブロックしていました。 →
robots.txt のトークン
Googlebot
ユーザーエージェント文字列
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36許可する方法
User-agent: Googlebot
Allow: /ブロックする方法
User-agent: Googlebot
Disallow: /本物のアクセスかどうかを確認する方法
Google は、ユーザーエージェント文字列は偽装され得るとして、2 段階の DNS チェックを推奨しています。まず、リクエスト元 IP を逆引きし、ホスト名が googlebot.com、google.com、または googleusercontent.com で終わることを確認します。次に、そのホスト名を正引きし、同じ IP が返ることを確認します。Google は一般的なクローラーの IP 範囲も JSON で公開しているため、アドレスを自動で照合することもできます。