Google-CloudVertexBot
Google-CloudVertexBot は、サイト所有者のリクエストに応じてサイトをクロールし、Google Cloud 上の Vertex AI Agents を構築します。Google によると、その robots.txt ルールは Google 検索やその他の製品に影響しません。ブロックが意味を持つのは、あなたまたは Google Cloud の顧客がサイトをエージェントのデータソースとして使う場合だけです。
役割
Google によると、Google-CloudVertexBot に向けたクロール設定は、サイト所有者が Vertex AI Agents の構築のためにリクエストしたクロールに影響します。Google 検索やその他の Google 製品には影響しません。ユーザーエージェントには Google-CloudVertexBot という部分文字列が含まれます。
robots.txt では、Google-CloudVertexBot トークンのルールに従い、ない場合は Googlebot のルールに従います。Google は、自動クロール時に常に robots.txt に従う一般的なクローラーの一つとして挙げています。
robots.txt のトークン
Google-CloudVertexBot
許可する方法
User-agent: Google-CloudVertexBot
Allow: /ブロックする方法
User-agent: Google-CloudVertexBot
Disallow: /本物のアクセスかどうかを確認する方法
Google は、ユーザーエージェント文字列は偽装され得るとして、2 段階の DNS チェックを推奨しています。まず、リクエスト元 IP を逆引きし、ホスト名が googlebot.com、google.com、または googleusercontent.com で終わることを確認します。次に、そのホスト名を正引きし、同じ IP が返ることを確認します。Google は一般的なクローラーの IP 範囲も JSON で公開しているため、アドレスを自動で照合することもできます。