Gemini가 내 웹사이트를 볼 수 있을까? 확인 방법
Gemini가 그라운딩된 답변에 내 페이지를 쓰려면 페이지가 Google 검색 색인에 있고, robots.txt가 Google-Extended 토큰을 차단하지 않아야 합니다. Google은 Gemini 앱의 그라운딩이 Google 검색 색인의 콘텐츠를 모델에 제공하며, 내 콘텐츠를 여기에 쓸 수 있는지는 Google-Extended가 결정한다고 밝힙니다. 따라서 Search Console에서 색인 여부를 확인하고, robots.txt에서 Googlebot과 Google-Extended를 점검한 뒤, 구매자가 묻는 질문을 Gemini에 해 보고 출처를 열어 보세요.
다른 AI 어시스턴트와 달리 Gemini에는 로그에서 찾아볼 수 있는 전용 크롤러가 없습니다. Google은 기존 크롤러로 크롤링하고, 그 콘텐츠로 Gemini가 무엇을 할 수 있는지는 robots.txt 토큰 하나가 정합니다. 그래서 확인 방법도 다릅니다. 대부분은 Google Search Console과 robots.txt에서 이루어지고, 마지막 단계만 Gemini에서 직접 합니다.
이 글의 목차
5분 점검, 단계별로
- Google에서
site:와 페이지 주소를 함께 검색하거나 Search Console의 URL 검사를 사용해 페이지가 Google 색인에 있는지 확인하세요. - robots.txt를 열고
Googlebot이 페이지를 가져갈 수 있는지, 그리고 직접 거부하기로 하지 않았다면Google-Extended가 금지되어 있지 않은지 확인하세요. - AISeeWhy에서 페이지를 무료로 점검하거나
Googlebot사용자 에이전트로 요청을 하나 보내세요. 상태 200과 함께 브라우저와 같은 텍스트를 받아야 합니다. - 페이지가 답하는 질문을 Gemini에 하고, 답변 아래에 표시되는 출처를 열어 보세요.
페이지가 색인되지 않았다면 Gemini의 그라운딩이 페이지를 쓸 수 없으므로 1단계부터 시작하세요. 아래 섹션에서 각 단계와 실패했을 때 할 일을 설명합니다.
Gemini는 웹사이트에서 정보를 어떻게 가져오나요?
Google의 Gemini Apps Privacy Hub는 일부 Gemini 응답이 검색 결과에 그라운딩된다고 설명합니다. Google 크롤러 문서는 그라운딩을 사실성과 관련성을 높이기 위해 프롬프트 시점에 Google 검색 색인의 콘텐츠를 모델에 제공하는 것으로 정의합니다. 같은 문서는 Google이 크롤링한 콘텐츠를 Gemini 모델 학습과 Gemini Apps, Vertex AI의 Grounding with Google Search에서의 그라운딩에 쓸 수 있는지를 Google-Extended가 제어한다고 밝힙니다.
Google-Extended에는 고유한 user agent 문자열이 없습니다. Google은 크롤링을 기존 user agent로 하며, 이 토큰은 robots.txt에서 제어 수단으로만 작동한다고 설명합니다. 실제로는 Gemini가 내 페이지를 쓰려면 두 가지 조건이 필요합니다. Google 색인에 페이지가 있어야 하고, robots.txt가 그 페이지에 대해 Google-Extended를 차단하지 않아야 합니다.
Gemini가 색인된 페이지 중 무엇을 쓰거나 인용할지 어떻게 고르는지는 Google이 문서화하지 않았습니다. 두 조건을 갖추면 내 페이지가 후보가 될 뿐, Gemini가 반드시 고른다는 보장은 없습니다.
Google이 내 페이지를 색인했는지 어떻게 확인하나요?
Google Search Console의 URL 검사 도구를 쓰세요. 색인된 버전에 대해 다음을 보여 줍니다.
- 페이지가 색인되었는지, 아니면 “URL is unknown to Google” 같은 사유.
- 마지막 크롤링 날짜와 Google이 데스크톱 방문자로 크롤링했는지 모바일 방문자로 크롤링했는지.
- 페이지 가져오기가 성공했는지, robots.txt가 크롤링을 허용했는지.
- 내가 선언한 canonical과 Google이 선택한 canonical. 둘이 다르면 Google은 자신이 고른 쪽을 페이지의 대표 버전으로 취급합니다.
Test live URL은 페이지를 실시간으로 가져오고, View tested page는 스크린샷과 Google이 받은 HTML을 보여 줍니다. 스크린샷이 확인 페이지이거나 HTML에 본문이 없다면 Google도, 따라서 Gemini도 내 콘텐츠를 보지 못합니다. Request indexing은 Google에 URL을 다시 크롤링해 달라고 요청하는 기능으로, Google은 보통 하루 정도 걸리지만 색인이 보장되지는 않는다고 밝힙니다.
Google-Extended 때문에 Gemini가 내 사이트를 쓰지 못하나요?
robots.txt를 열어 Google-Extended를 지정한 그룹을 찾으세요. 거기 있는 Disallow: /는 Google에 내 페이지를 Gemini 학습이나 Gemini Apps의 그라운딩에 쓰지 말라고 알립니다. Google은 이 토큰이 Google 검색 포함 여부에 영향을 주지 않고 순위 신호도 아니라고 밝히므로, 이 차단은 놓치기 쉽습니다. 검색 트래픽은 평소와 같아 보이는데 Gemini는 내 페이지로 답변을 그라운딩하지 못합니다. AI Overviews와 Google-Extended를 다룬 별도 글에서 이 토큰이 검색에서 무엇을 제어하고 무엇을 제어하지 않는지 설명합니다.
이 토큰은 요청에 절대 나타나지 않으므로 curl로 테스트하거나 로그에서 찾을 수 없습니다. 파일을 읽는 것이 유일한 확인 방법입니다.
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" 매칭은 대소문자를 구분하지 않으며, Google-Extended를 지정한 그룹이 없으면 * 그룹이 적용됩니다. AI 학습이 처음 논의될 때 많은 사이트가 이 차단을 추가했습니다. 가장 인기 있는 도메인 1,000개 조사에서 robots.txt가 있는 518개 사이트 중 114곳이 Google-Extended를 지정했고, 94곳(18.1%)이 홈페이지를 차단했습니다. 이 차단이 그라운딩까지 막는다는 점을 감안해 지금도 원하는 설정인지 판단하세요.
브라우저는 통과하는데 방화벽이 Google을 막을 수 있나요?
네. 봇 차단 기능이나 요청 속도 제한이 Google 크롤러에 403, 429, 확인 페이지로 응답하면 Google은 페이지를 크롤링하지 못하고, 시간이 지나면 페이지가 검색에서, 따라서 Gemini 그라운딩에서도 빠질 수 있습니다. 여기서는 URL 검사가 가장 좋은 테스트입니다. Google이 자체 주소에서 가져오기 때문입니다. 내 컴퓨터에서 하는 curl 테스트는 내 규칙이 user agent를 어떻게 다루는지만 보여 줍니다.
Google을 안전하게 허용하려면 이름을 믿지 말고 방문자를 검증하세요. Google은 역방향 DNS 조회 후 정방향 조회로 확인하는 방법을 문서화했고, 일반 크롤러의 IP 대역을 common-crawlers.json에 공개합니다.
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com 예시 주소를 내 로그에 있는 주소로 바꾸세요. 두 조회 결과가 일치하지 않으면 그 요청은 Google이라고 주장할 뿐입니다.
Gemini가 내 사이트를 쓰거나 인용하는지 어떻게 보나요?
내 사이트 이름을 대지 않고 구매자가 묻는 질문을 Gemini에 하고 출처를 열어 보세요. Google 고객센터에 따르면 출처(Sources) 버튼은 응답 하단이나 본문 중간에 나타나며, 공개 웹사이트가 포함될 수 있는 관련 링크 패널을 엽니다. 출처 버튼이 없다면 그 응답에서 Gemini가 링크를 제공하지 않은 것이며, Google은 모든 응답에 링크가 있는 것은 아니라고 밝힙니다. 어떤 도메인이 나오는지 기록하고 같은 질문을 몇 주에 걸쳐 반복하세요.
개발자는 Grounding with Google Search를 켠 Gemini API로 같은 테스트를 할 수 있습니다. Google은 이 기능이 모델을 실시간 웹 콘텐츠에 연결한다고 설명하며, 그라운딩된 답변에는 각 출처의 URL과 제목이 담긴 인용이 붙으므로 내 도메인이 나오는지 확인할 수 있습니다. API 답변은 Gemini 앱에서 보이는 것과 다를 수 있습니다.
Gemini와 관련된 일부 요청은 서버에 실제로 도달합니다. Google은 사용자가 Gemini Notebook 프로젝트에 출처로 추가한 URL을 요청하는 Google-GeminiNotebook, 사용자의 요청에 따라 동작하는 Google 인프라의 에이전트가 쓰는 Google-Agent 같은 사용자 트리거 fetcher를 나열합니다. Google은 사용자가 요청한 것이므로 이 fetcher들은 일반적으로 robots.txt를 무시한다고 밝힙니다. 이들의 방문은 사람들이 그 제품을 통해 내 페이지를 연다는 신호일 뿐, 위에서 설명한 그라운딩 경로는 아닙니다.
AI Overviews, AI Mode, 스니펫 규칙이 Gemini에도 영향을 주나요?
AI Overviews와 AI Mode는 자체 제어 수단이 있는 Google 검색 기능입니다. Google은 페이지에서 보여 줄 내용을 제한하는 방법으로 nosnippet, data-nosnippet, max-snippet, noindex를 듭니다. robots 메타 태그 문서에 따르면 nosnippet은 콘텐츠가 AI Overviews와 AI Mode의 직접 입력으로 쓰이는 것도 막고, max-snippet은 쓸 수 있는 양을 제한합니다. Search Console에는 사이트를 AI Overviews, AI Mode, Discover의 생성형 AI 기능에서 제외할 수 있는 사이트 전체 Search generative AI 설정도 있습니다.
이 문서들 중 어느 것도 Gemini 앱을 언급하지 않습니다. 스니펫 규칙이나 Search Console 설정이 Gemini 그라운딩을 바꾼다거나, Google-Extended가 AI Overviews를 바꾼다고 가정하지 마세요. 예외는 noindex입니다. Google의 그라운딩 정의에 따르면 검색 색인 밖의 페이지는 그라운딩에 쓰일 수 없습니다. 잊고 있던 스니펫 규칙이 있는지 찾으려면 HTML과 헤더를 확인하세요.
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy는 이것을 어떻게 확인하나요?
무료 AISeeWhy 점검은 실제 브라우저와 함께 Googlebot 및 다른 AI·검색 크롤러로 페이지를 가져오고, Google-Extended 토큰을 포함해 각각에 robots.txt를 적용하며, 확인 페이지를 알아보고, JavaScript 없이 얼마나 많은 텍스트가 전달되는지 보여 줍니다. 체험판과 유료 요금제의 AI 가시성 점검은 내 키로 Google 검색 그라운딩을 켠 Gemini API에 질문하고, 내 브랜드나 도메인이 언급 또는 인용되는지 보여 줍니다. AI Overviews나 AI Mode는 조회하지 않습니다.
다음 단계
이 글에 나오는 크롤러
자주 묻는 질문
Gemini가 내 사이트를 볼 수 있는지 무료로 확인할 수 있나요?
네. Search Console, site: 검색, robots.txt, Gemini에 하는 질문은 모두 무료입니다. AISeeWhy 무료 점검은 하루 한 페이지에 대해 Googlebot, Google-Extended 규칙, 그 밖의 크롤러 14개를 테스트합니다.
Gemini에는 전용 크롤러가 있나요?
그라운딩용으로는 없습니다. Google은 Google-Extended에 user agent 문자열이 없고 크롤링은 기존 크롤러로 한다고 밝힙니다. Google-GeminiNotebook, Google-Agent 같은 별도의 사용자 트리거 fetcher는 사용자가 요청할 때 페이지를 방문하며, Google은 이들이 일반적으로 robots.txt를 무시한다고 설명합니다.
Google-Extended를 차단해도 Gemini가 내 브랜드를 언급할 수 있나요?
Google은 Gemini Apps의 그라운딩에 내 콘텐츠를 쓰지 않는다고 밝힙니다. 이 규칙은 내 페이지에만 적용됩니다. 나에 대해 쓴 다른 사이트의 콘텐츠에 대해서는 Google이 아무 말도 하지 않으므로, Gemini는 그런 출처를 통해 여전히 내 브랜드를 언급할 수 있습니다.
robots.txt 변경이 Gemini에 반영되기까지 얼마나 걸리나요?
Google은 Gemini에 대한 기간을 밝히지 않습니다. robots.txt 문서에 따르면 Google은 보통 파일을 최대 24시간 캐시하므로, 다시 테스트하기 전에 최소 하루를 기다리고, Google이 드물게 재크롤링하는 페이지라면 더 기다리세요.
AI Overviews와 Gemini는 같은 출처를 쓰나요?
Google은 둘의 관계를 문서화하지 않았습니다. 둘 다 Google 색인을 바탕으로 하지만 제어 수단이 다릅니다. AI Overviews와 AI Mode에는 스니펫 규칙과 Search Console 설정이, Gemini 그라운딩에는 Google-Extended가 쓰입니다. 따로따로 확인하세요.
Gemini 답변을 시간에 따라 추적하려면 어떻게 하나요?
구매자 질문 목록을 고정해 두고 정해진 주기로 Gemini에 질문하면서 출처에 어떤 도메인이 나오는지 기록하세요. AISeeWhy의 AI 가시성 점검은 Google 검색 그라운딩을 켠 Gemini API로 매주 질문을 실행하고, 최대 네 곳의 경쟁사와 나란히 언급을 보여 줍니다. API 결과는 Gemini 앱과 다를 수 있습니다.
참고 자료
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: AI 크롤러 접근 보고서, 2026-11