AISeeWhy
KO
무료 체험 시작

AI 학습은 차단하고 AI 검색 답변에는 남는 방법

게시일

핵심 답변

대부분의 AI 업체는 모델 학습용과 검색용에 서로 다른 robots.txt 토큰을 사용합니다. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot 같은 학습 토큰은 차단하고, OAI-SearchBot, Claude-SearchBot, PerplexityBot 같은 검색 및 사용자 토큰은 허용하세요. 같은 의사를 글로 밝히려면 Content-Signal 줄을 추가합니다.

많은 사이트 운영자는 두 가지를 동시에 원합니다. 콘텐츠가 AI 모델 학습에 쓰이는 것은 원치 않으면서, AI 어시스턴트가 내 페이지를 찾아 인용하고 링크해 주길 바랍니다. 주요 업체들이 이제 이 두 역할을 서로 다른 크롤러나 토큰으로 나누고 있으므로 robots.txt로 두 선택을 모두 표현할 수 있습니다. 다만 업체마다 이름이 다르고, 이 구조에 맞지 않는 업체도 몇 곳 있으며, 한 줄만 잘못 써도 학습 데이터가 아니라 AI 답변에서 빠질 수 있다는 점이 함정입니다.

이 글의 목차
  1. 학습 크롤러와 검색 크롤러는 무엇이 다른가요?
  2. 어떤 토큰이 학습을 제어하고 어떤 토큰이 검색을 제어하나요?
  3. robots.txt는 어떤 모양인가요?
  4. 이미 이렇게 하는 사이트는 얼마나 되나요?
  5. Content-Signal은 무엇을 더해 주나요?
  6. 이 분리가 깔끔하게 작동하지 않는 경우는 어디인가요?
  7. 이 분리가 제대로 작동하는지 어떻게 확인하나요?

학습 크롤러와 검색 크롤러는 무엇이 다른가요?

학습 크롤러는 AI 모델을 만들거나 개선하는 데 쓰일 수 있는 페이지를 수집합니다. 학습만으로는 인용이나 링크가 생기지 않습니다. 검색 크롤러는 AI 어시스턴트가 답변의 출처를 찾는 데 쓰는 색인을 구축하며, 그 출처가 인용 대상이 될 수 있습니다. 사용자 요청 가져오기 에이전트는 누군가 해당 페이지에 대해 물었기 때문에 페이지를 실시간으로 엽니다.

업체들은 이 역할을 따로 문서화하고 설정이 서로 독립적이라고 밝힙니다. 예를 들어 OpenAI는 자사 크롤러의 robots.txt 설정이 각각 서로 독립적이라고 밝힙니다. 따라서 학습 거부를 올바르게 설정하면 검색 노출에는 영향이 없습니다.

어떤 토큰이 학습을 제어하고 어떤 토큰이 검색을 제어하나요?

업체들이 문서화한 토큰을 제어 대상별로 묶으면 다음과 같습니다.

robots.txt는 어떤 모양인가요?

RFC 9309에서는 연속된 여러 User-agent 줄이 하나의 그룹을 이루므로 규칙이 각각에 적용됩니다. 다음 파일은 위의 학습 토큰은 거부하고, 검색 및 사용자 에이전트는 허용하며, 비공개 경로 하나는 모두에게 닫아 둡니다.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

두 가지가 중요합니다. 첫째, 이름이 지정된 그룹은 *에서 상속받지 않으므로 비공개 경로는 검색 그룹에도 반복해서 적어야 합니다. 둘째, Googlebot이나 Applebot을 학습 그룹에 넣지 마세요. 이들은 검색 크롤러이므로 차단하면 Google 검색과 Apple의 검색 기능에서 빠집니다. 변경 사항은 즉시 반영되지 않습니다. OpenAI는 검색에 약 24시간, Perplexity는 최대 24시간이 걸린다고 밝힙니다.

이미 이렇게 하는 사이트는 얼마나 되나요?

생각보다 적습니다. 2026-11-12에 Tranco 목록의 가장 인기 있는 1,000개 도메인의 robots.txt를 읽었습니다. robots.txt를 제공한 518곳 가운데 155곳(29.9%)이 AI 학습 크롤러를 하나 이상 홈페이지에서 차단합니다. 학습 크롤러는 차단하고 조사한 모든 AI 검색 및 사용자 크롤러는 허용하는 선택적 방식을 쓰는 곳은 57곳(11.0%)뿐입니다. 전체로는 101곳(19.5%)이 AI 검색 또는 사용자 크롤러를 하나 이상 차단합니다.

크롤러별 수치도 같은 양상을 보입니다. GPTBot은 111곳(21.4%), OAI-SearchBot은 58곳(11.2%)에서 차단됩니다. ClaudeBot은 110곳(21.2%), Claude-SearchBot은 67곳(12.9%)입니다. Google-Extended는 94곳(18.1%), Googlebot은 14곳(2.7%)입니다. Content-Signal을 사용하는 곳은 18곳(3.5%)뿐입니다.

이 조사는 홈페이지에 대한 robots.txt 규칙만 살펴봅니다. 방화벽 차단은 측정하지 않으며, 각 사이트가 무엇을 의도했는지도 알 수 없습니다.

Content-Signal은 무엇을 더해 주나요?

Content Signals는 Cloudflare가 contentsignals.org에 게시한 robots.txt 확장입니다. Content-Signal 줄은 콘텐츠를 어떻게 사용할 수 있는지를 세 가지 신호로 나타냅니다. search(검색 색인 구축과 링크 및 짧은 발췌 표시), ai-input(생성형 답변을 위한 그라운딩이나 검색처럼 AI 모델에 콘텐츠를 실시간으로 입력하는 것), ai-train(모델 학습 또는 파인튜닝)입니다.

search의 정의에는 AI가 생성한 검색 요약이 포함되지 않는다는 점에 유의하세요. AI 답변에 나타나길 원한다면 위 예시처럼 ai-input=yes도 설정하세요. Cloudflare의 관리형 robots.txt는 기본적으로 search=yes, ai-train=no를 추가하며, 생략한 신호는 해당 용도를 허용하지도 제한하지도 않습니다.

이는 밝혀 두는 선호일 뿐입니다. Content Signals 사이트는 기술적 수준에서 크롤링을 막지 않는다고 밝히며, Cloudflare도 robots.txt 준수는 자발적이라고 짚습니다. 우리가 확인한 OpenAI, Anthropic, Google, Perplexity의 크롤러 문서 어디에도 Content-Signal을 읽는지 여부는 나와 있지 않으므로, 크롤러별 그룹을 대체하는 것이 아니라 보완하는 수단으로 보세요.

이 분리가 깔끔하게 작동하지 않는 경우는 어디인가요?

주의가 필요한 경우가 몇 가지 있습니다.

이 분리가 제대로 작동하는지 어떻게 확인하나요?

각 크롤러가 읽는 방식대로 robots.txt를 읽어 보세요. 그 크롤러를 지정한 그룹을 찾고, 없을 때만 *로 돌아가며, 가장 길게 일치하는 규칙을 적용합니다. 그런 다음 각 검색 크롤러의 user agent로 페이지를 요청해 403이나 확인 페이지가 아니라 전체 콘텐츠와 함께 200을 받는지 확인하세요.

AISeeWhy는 학습, 검색, 사용자 에이전트로 나눈 14개 크롤러에 대해 둘 다 수행하며, 학습을 막으려다 PerplexityBot이나 Claude-SearchBot 같은 검색 토큰을 차단하는 가장 흔한 실수를 알려 줍니다.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT 답변에서 내 사이트가 빠지나요?

아닙니다. OpenAI는 GPTBot이 학습용이며 robots.txt 설정이 각각 독립적이라고 밝힙니다. ChatGPT 검색은 OAI-SearchBot을 사용하므로, 이를 허용하고 방화벽이 막지 않는 한 내 페이지는 계속 대상이 됩니다.

Google-Extended를 차단하면 AI Overviews에서 빠지나요?

Google 문서에 따르면 그렇지 않습니다. Google은 Google-Extended가 Google 검색에서의 포함에 영향을 주지 않으며 AI Overviews는 검색 색인을 활용한다고 밝힙니다. Google은 사이트를 AI Overviews와 AI Mode에서 제외하는 별도의 Search Console 제어 기능을 제공합니다.

AI 학습을 모두 차단하는 한 줄이 있나요?

표준으로 정해진 한 줄은 없습니다. Content-Signal: ai-train=no는 모든 크롤러에 선호를 밝히지만, 크롤러가 이를 따르는지는 운영 주체에 달려 있습니다. 학습 토큰마다 이름이 지정된 그룹을 두는 것이 문서화된 방법입니다.

AI 학습을 막으려고 Perplexity를 차단해야 하나요?

Perplexity는 자사 에이전트가 학습 데이터 수집에 쓰이지 않는다고 밝힙니다. PerplexityBot을 차단하면 학습 거부는 되지 않고 Perplexity 검색 결과에서의 노출만 줄어듭니다.

참고 자료

다른 글