AISeeWhy
KO
무료 체험 시작

ChatGPT가 내 웹사이트를 볼 수 있을까? 확인 방법

게시일

핵심 답변

ChatGPT가 내 페이지를 인용하려면 OpenAI의 검색 크롤러인 OAI-SearchBot이 페이지를 가져올 수 있어야 하고, 브라우저가 받는 것과 같은 HTML을 받아야 합니다. 세 가지를 확인하세요. robots.txt에서 OAI-SearchBot을 차단하지 않았는지, 방화벽이나 CDN이 403이나 확인 페이지로 응답하지 않는지, 본문이 처음 받는 HTML 안에 들어 있는지입니다.

많은 사이트 운영자가 ChatGPT에 자사 제품에 대해 물어보았다가 경쟁사가 인용되는 것을 보고, ChatGPT가 애초에 자기 사이트에 접근할 수 있는지 궁금해합니다. 이 질문에는 직접 확인할 수 있는 구체적인 답이 있습니다. OpenAI는 크롤러의 이름과 각각의 역할을 공개하고 있으므로, robots.txt 규칙, 서버가 보내는 응답, 그 응답에 담긴 콘텐츠까지 각 단계를 하나씩 점검할 수 있습니다.

이 글의 목차
  1. ChatGPT 답변과 관련된 OpenAI 크롤러는 무엇인가요?
  2. ChatGPT용 robots.txt는 어떻게 확인하나요?
  3. robots.txt가 허용해도 방화벽이 ChatGPT를 차단할 수 있나요?
  4. OAI-SearchBot이 받는 응답은 어떻게 테스트하나요?
  5. 페이지는 열리는데 ChatGPT가 쓸 만한 답을 하지 못한다면?
  6. AISeeWhy는 이를 어떻게 확인하나요?

ChatGPT 답변과 관련된 OpenAI 크롤러는 무엇인가요?

OpenAI 문서에는 사이트 운영자가 흔히 마주치는 에이전트가 세 가지 나와 있습니다. 각각 역할이 다르며, 하나를 차단해도 나머지는 차단되지 않습니다. OpenAI는 robots.txt의 각 설정이 서로 독립적이라고 밝히고 있습니다.

요약하면, OAI-SearchBot은 인용을, GPTBot은 학습을, ChatGPT-User는 사용자의 요청에 따른 실시간 방문을 담당합니다.

ChatGPT용 robots.txt는 어떻게 확인하나요?

브라우저에서 https://yourdomain.com/robots.txt를 엽니다. OAI-SearchBot을 지정한 그룹이 있는지 살펴보세요. 없다면 크롤러는 User-agent: * 그룹을 따릅니다. 적용되는 그룹에 Disallow: /가 있으면 사이트 전체가 차단됩니다.

파일이 제대로 응답하는지도 확인하세요. RFC 9309에 따르면 robots.txt가 서버 오류(5xx)를 반환하거나 접근할 수 없을 때 크롤러는 사이트 전체가 차단된 것으로 간주해야 합니다. 404는 괜찮습니다. 규칙이 없다는 뜻입니다. robots.txt 주소가 상태 코드 200으로 HTML 페이지를 반환하는 것은 흔한 실수입니다. 크롤러가 그 안에서 유효한 규칙을 찾지 못하기 때문입니다.

ChatGPT 검색은 유지하면서 학습은 거부하는 설정은 다음과 같습니다.

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI에 따르면 robots.txt를 수정한 뒤 검색에 반영되기까지 약 24시간이 걸릴 수 있습니다.

robots.txt가 허용해도 방화벽이 ChatGPT를 차단할 수 있나요?

네, 그리고 흔한 원인입니다. robots.txt는 규칙을 지키는 크롤러에 대한 요청일 뿐 접근 제어가 아닙니다. 실제로 무엇을 돌려보낼지는 방화벽, CDN, 봇 차단 기능이 결정합니다. AI 크롤러를 원치 않는 봇으로 판단하면 크롤러는 403, 429, 또는 Cloudflare의 "Just a moment..." 화면 같은 확인 페이지를 받고, 브라우저로 접속한 사람에게는 페이지가 정상적으로 보입니다.

겉에서 보면 모두에게 열려 있는 사이트처럼 보입니다. 차이는 크롤러라고 밝힌 요청에서만 드러납니다. 이 경우 robots.txt는 허용하고 서버는 거부하며, 서버의 판단이 우선합니다.

OAI-SearchBot이 받는 응답은 어떻게 테스트하나요?

같은 URL에 요청을 두 번 보냅니다. 한 번은 브라우저 user agent로, 한 번은 크롤러의 user agent로 보내고 상태 코드와 크기를 비교합니다. OpenAI는 크롤러별 user agent 예시를 공개하고 있으며, 그 안의 버전 번호는 바뀔 수 있습니다.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

브라우저는 큰 본문과 함께 200을 받는데 크롤러는 403, 429, 503이나 훨씬 작은 본문을 받는다면, 방화벽이 크롤러를 다르게 취급하고 있는 것입니다. 한 가지 한계가 있습니다. 이 테스트는 OpenAI가 아니라 내 IP 주소에서 나갑니다. 공개된 IP 대역(OpenAI는 openai.com/searchbot.json에 게시합니다)으로 크롤러를 검증하는 방화벽은 실제 크롤러는 통과시키고 내 테스트는 차단할 수 있습니다. 그래도 이 테스트에서 차단된다면 방화벽이 해당 user agent를 어떻게 다루는지 알 수 있으므로 고칠 가치가 있습니다.

페이지는 열리는데 ChatGPT가 쓸 만한 답을 하지 못한다면?

접근은 첫 단계일 뿐입니다. 받은 HTML이 나중에 JavaScript로 채워지는 빈 껍데기라면 크롤러는 텍스트를 거의 받지 못할 수 있습니다. curl이나 브라우저의 소스 보기로 원본 HTML을 확인하세요. 본문이 거기에 없다면 크롤러도 아마 보지 못할 것입니다.

그다음은 콘텐츠 신호입니다. 페이지 상단의 명확한 짧은 답변, 사람들이 묻는 질문에 맞춘 제목, 명시된 발행처와 작성자, 눈에 보이는 날짜 등입니다. 이것들이 인용을 보장하지는 않지만, 페이지를 정확하게 인용하기 쉽게 만듭니다.

AISeeWhy는 이를 어떻게 확인하나요?

AISeeWhy는 일반 브라우저와 나란히 OAI-SearchBot, GPTBot, ChatGPT-User와 다른 11개 크롤러로 페이지를 가져오고, RFC 9309 규칙에 따라 robots.txt를 읽으며, 차단이나 확인 페이지로 응답하는 방화벽을 특정합니다. 각 발견 사항에는 붙여 넣을 수 있는 해결 방법이 함께 제공되고, 무료 검사에서는 점수와 첫 번째 발견 사항을 볼 수 있습니다.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT 검색에서 사이트가 빠지나요?

아닙니다. OpenAI는 각 크롤러 설정을 독립적으로 취급합니다. GPTBot은 학습과 관련되고, 페이지가 ChatGPT 검색 답변에 표시될 수 있는지는 OAI-SearchBot이 결정합니다. 하나는 차단하고 다른 하나는 허용할 수 있습니다.

ChatGPT-User는 robots.txt를 따르나요?

OpenAI는 이런 방문이 사용자의 요청으로 이루어지기 때문에 robots.txt 규칙이 적용되지 않을 수 있다고 밝힙니다. 이런 방문을 막고 싶다면 robots.txt 규칙은 확실한 수단이 아닙니다.

robots.txt 변경이 ChatGPT에 반영되기까지 얼마나 걸리나요?

OpenAI에 따르면 robots.txt를 업데이트한 뒤 검색용 시스템이 조정되기까지 약 24시간이 걸릴 수 있습니다.

접근할 수만 있으면 인용되나요?

아닙니다. 접근은 인용을 가능하게 할 뿐 보장하지는 않습니다. 페이지가 무엇을 말하는지, 그리고 얼마나 명확하게 말하는지가 답변에 쓰일지를 여전히 좌우합니다.

참고 자료

다른 글