Google-Extended
Google-Extended는 별도의 크롤러가 아니라 robots.txt 토큰입니다. Google이 크롤링한 콘텐츠를 앞으로의 Gemini 모델 학습과 Gemini 앱 및 Vertex AI의 그라운딩에 쓸 수 있는지를 제어합니다. Google은 이 토큰이 사이트의 Google 검색 포함 여부에는 영향을 주지 않는다고 밝힙니다.
하는 일
Google-Extended에는 자체 사용자 에이전트가 없습니다. 크롤링은 Google의 기존 사용자 에이전트가 수행하며, Google-Extended 토큰은 제어 역할을 합니다. 크롤링한 콘텐츠를 앞으로의 세대 Gemini 모델 학습과 Gemini 앱 및 Vertex AI의 그라운딩에 쓸 수 있는지를 Google에 알립니다.
Google은 Google-Extended가 사이트의 Google 검색 포함 여부에 영향을 주지 않는다고 밝힙니다. AI 개요 같은 검색의 AI 기능은 이 토큰이 아니라 Googlebot 규칙과 스니펫 제어로 관리됩니다.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 18.1%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
Google-Extended
허용하는 방법
User-agent: Google-Extended
Allow: /차단하는 방법
User-agent: Google-Extended
Disallow: /실제 방문인지 확인하는 방법
로그에서 확인할 것은 없습니다. Google-Extended는 사용자 에이전트로 나타나지 않습니다. 그 뒤의 요청은 Google의 일반 크롤러에서 오며, 역방향 DNS 조회(googlebot.com, google.com 또는 googleusercontent.com)와 이어지는 정방향 조회로, 또는 Google이 공개한 IP 대역과 대조해 확인할 수 있습니다.