Google-CloudVertexBot

Google · 사용자 요청 가져오기

Google-CloudVertexBot은 사이트 소유자의 요청에 따라 사이트를 크롤링해 Google Cloud에서 Vertex AI Agents를 만듭니다. Google은 이 봇의 robots.txt 규칙이 Google 검색이나 다른 제품에 영향을 주지 않는다고 밝힙니다. 차단은 나 또는 Google Cloud 고객이 내 사이트를 에이전트의 데이터 소스로 쓰는 경우에만 의미가 있습니다.

하는 일

Google은 Google-CloudVertexBot을 대상으로 한 크롤링 설정이 사이트 소유자가 Vertex AI Agents를 만들기 위해 요청한 크롤링에 영향을 준다고 밝힙니다. Google 검색이나 다른 Google 제품에는 영향이 없습니다. 사용자 에이전트에는 Google-CloudVertexBot 부분 문자열이 들어 있습니다.

robots.txt에서는 Google-CloudVertexBot 토큰의 규칙을 따르고, 없으면 Googlebot의 규칙을 따릅니다. Google은 이 봇을 자동 크롤링 시 항상 robots.txt를 준수하는 일반 크롤러 중 하나로 나열합니다.

robots.txt 토큰

Google-CloudVertexBot

허용하는 방법

User-agent: Google-CloudVertexBot
Allow: /

차단하는 방법

User-agent: Google-CloudVertexBot
Disallow: /

실제 방문인지 확인하는 방법

Google은 사용자 에이전트 문자열이 위조될 수 있다며 2단계 DNS 확인을 권장합니다. 먼저 요청한 IP를 역방향 DNS로 조회해 호스트 이름이 googlebot.com, google.com 또는 googleusercontent.com으로 끝나는지 확인합니다. 그다음 그 호스트 이름을 정방향으로 조회해 같은 IP가 나오는지 확인합니다. Google은 일반 크롤러의 IP 대역도 JSON으로 공개하므로 주소를 자동으로 대조할 수도 있습니다.

내 사이트가 허용하는지 점검하기 →