Googlebot
Googlebot은 Google이 검색 색인을 만드는 데 쓰는 주요 크롤러입니다. Google은 Googlebot에 대한 robots.txt 규칙이 AI 개요와 AI 모드 같은 AI 기능을 포함해 검색을 위해 사이트가 크롤링되는 방식을 제어한다고 밝힙니다. 차단하면 내 페이지가 Google 검색과 그런 AI 답변에서 사라집니다.
하는 일
Googlebot은 Google의 검색 색인을 만들기 위한 정보를 찾는 데 쓰입니다. Googlebot 토큰을 대상으로 한 크롤링 설정은 Google 검색과 Google 이미지, 동영상, Google 뉴스, Discover 같은 제품에 영향을 줍니다. 스마트폰용과 데스크톱용 크롤러로 모두 동작하며 둘 다 같은 Googlebot 규칙을 따르고, Google은 자사의 일반 크롤러가 자동 크롤링 시 항상 robots.txt를 준수한다고 밝힙니다.
Google의 AI 기능 문서는 Googlebot 규칙을 AI 개요와 AI 모드를 포함한 검색의 제어 수단으로 설명하며, 표시되는 내용을 제한하려면 nosnippet, data-nosnippet, max-snippet, noindex를 사용하라고 안내합니다. Gemini 학습에 대한 사용은 Google-Extended로 별도로 제어됩니다.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 2.7%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
Googlebot
사용자 에이전트 문자열
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36허용하는 방법
User-agent: Googlebot
Allow: /차단하는 방법
User-agent: Googlebot
Disallow: /실제 방문인지 확인하는 방법
Google은 사용자 에이전트 문자열이 위조될 수 있다며 2단계 DNS 확인을 권장합니다. 먼저 요청한 IP를 역방향 DNS로 조회해 호스트 이름이 googlebot.com, google.com 또는 googleusercontent.com으로 끝나는지 확인합니다. 그다음 그 호스트 이름을 정방향으로 조회해 같은 IP가 나오는지 확인합니다. Google은 일반 크롤러의 IP 대역도 JSON으로 공개하므로 주소를 자동으로 대조할 수도 있습니다.