robots.txt의 Content-Signal이란? 실제로 따르는 곳이 있을까?
Content-Signal은 Cloudflare가 공개한 선택적 robots.txt 줄로, 가져간 뒤 콘텐츠를 어떻게 써도 되는지를 밝힙니다. 검색 결과용 search, AI 답변 입력용 ai-input, 모델 학습용 ai-train을 각각 yes나 no로 정하며, 예를 들면 Content-Signal: search=yes, ai-input=yes, ai-train=no입니다. 선호를 표현할 뿐 아무것도 차단하지 않습니다. 2026년 11월 현재 OpenAI, Anthropic, Google, Perplexity의 크롤러 페이지 중 이를 읽는다고 밝힌 곳은 없고, 대형 AI 기업들은 대신 학습 전용의 다른 토큰을 지지했습니다.
robots.txt는 크롤러가 어디에 가도 되는지를 말하려고 만들어졌지, 읽은 내용으로 무엇을 해도 되는지를 말하려던 것이 아닙니다. 한 번의 가져오기가 검색 색인, 실시간 AI 답변, 학습 데이터에 모두 쓰일 수 있게 되자 이 빈틈이 중요해졌습니다. Cloudflare는 이를 메우려고 2025년 9월 24일 CC0 라이선스로 Content Signals Policy를 공개했고, 당시 고객들이 이미 380만 개가 넘는 도메인에서 관리형 robots.txt를 켰다고 밝혔습니다. 지금은 이 기능이 해당 줄을 자동으로 넣어 줍니다.
이 글의 목차
search, ai-input, ai-train은 무슨 뜻인가요?
정책은 세 가지 신호를 정의합니다. 아래 표현은 contentsignals.org와 Cloudflare가 공개한 정책 문구를 따릅니다.
search: 검색 색인을 만들고 검색 결과를 제공하는 것으로, 예를 들어 내 페이지로 가는 하이퍼링크와 짧은 발췌문을 보여 주는 것입니다. 정의에 따르면 search에는 AI가 생성한 검색 요약이 포함되지 않습니다.ai-input: 콘텐츠를 하나 이상의 AI 모델에 입력하는 것으로, 예를 들어 검색 증강 생성(RAG), 그라운딩, 생성형 AI 검색 답변을 위한 기타 실시간 콘텐츠 활용입니다.ai-train: AI 모델을 학습시키거나 미세 조정하는 것입니다.
각 신호는 yes나 no 값을 받습니다. 정책 표현으로는 yes는 그 용도로 콘텐츠를 수집해도 된다는 뜻, no는 안 된다는 뜻이며, 생략한 신호는 그 용도를 허용하지도 제한하지도 않습니다. Cloudflare 기본값은 search와 ai-train을 정하고 ai-input은 비워 둡니다. Cloudflare는 이 신호에 대한 고객 각각의 선호를 알 수 없고 추측하고 싶지 않기 때문이라고 설명합니다.
많은 사람이 놓치는 것이 search와 ai-input의 구분입니다. 내 페이지가 AI 답변에 쓰이기를 원한다면 search=yes만으로는 그 뜻이 전달되지 않습니다. ai-input=yes가 필요합니다.
robots.txt에 Content-Signal 줄은 어떻게 쓰나요?
Content-Signal은 user agent 그룹 안에 Allow, Disallow와 나란히 들어가며, 신호는 쉼표로 구분합니다. contentsignals.org는 경로로 시작하는 형식도 보여 주므로, 사이트의 한 구역에 나머지와 다른 신호를 줄 수 있습니다.
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow와 Disallow는 이전과 똑같이 작동하며, Content-Signal이 이를 대체하지 않습니다. RFC 9309는 정의된 규칙을 방해하지 않는 한 크롤러가 프로토콜에 없는 레코드를 해석하도록 허용하므로, 이 줄을 모르는 파서는 건너뛰어야 합니다.
알아 둘 점이 두 가지 있습니다. 첫째, 이 줄은 그룹에 속합니다. RFC 9309에 따라 자기 이름의 그룹이 있는 크롤러는 User-agent: * 그룹을 완전히 무시하며, Content Signals 문서는 이 줄에 대한 예외를 설명하지 않습니다. Googlebot이나 OAI-SearchBot에 별도 그룹을 준다면, contentsignals.org의 크롤러별 예시처럼 거기에도 Content-Signal 줄을 반복하세요. 둘째, Google Search Console이 이 줄에 Syntax not understood를 표시할 수 있습니다. Cloudflare 문서는 이를 언급하며 크롤링이나 SEO에 영향을 관찰하지 못했다고 밝힙니다. Google robots.txt 문서가 지원 필드로 나열하는 것은 user-agent, allow, disallow, sitemap뿐입니다.
줄 위에 있는 정책 문구는 무슨 내용인가요?
Content Signals Policy는 한 줄로 끝나지 않습니다. contentsignals.org의 Cloudflare 생성기와 관리형 robots.txt는 모두 신호 위에 주석 블록을 넣습니다. 이 블록은 웹사이트 접근 조건으로 콘텐츠 신호를 준수하는 데 동의한다는 문장으로 시작해, 세 신호와 yes, no, 생략의 경우를 정의합니다.
마지막에는 콘텐츠 신호로 표현한 모든 제한이 디지털 단일 시장 저작권에 관한 EU 지침 2019/790 제4조에 따른 명시적 권리 유보라는 대문자 문장이 있습니다. Cloudflare 발표는 이 신호가 여러 관할권에서 법적 효력을 가질 수 있다고 덧붙입니다.
contentsignals.org 스스로도 법원과 규제 기관이 robots.txt 파일에 강제력 있는 법적 의무가 없다고 판단할 수 있다고 경고하며 변호사와 상담하라고 권합니다. 주석 블록은 계약이 아니라 내 입장을 글로 밝힌 것으로 보세요.
내 robots.txt에 이미 Content-Signal이 들어 있나요?
사이트가 Cloudflare를 쓴다면 다음 두 가지 경우 중 하나로 들어 있을 수 있습니다.
- 관리형 robots.txt. Bot Preference Sync가 켜져 있고 AI Crawler and Agent access 정책 중 하나 이상이 Block, Block on pages with ads, 또는 Training의 Disallow로 설정되어 있으면, Cloudflare는 서버가 보내는 robots.txt 앞에 관리 블록을 붙입니다. 여기에는 정책 문구,
User-Agent: *아래의Content-signal: search=yes, ai-train=no, use=reference, 그리고Amazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBot,meta-externalagent에 대한Disallow: /가 들어 있습니다. - robots.txt가 아예 없는 경우. Cloudflare에 따르면 자체 robots.txt가 없고 관리형 기능도 쓰지 않는 Free 요금제 도메인은 크롤러가
/robots.txt를 요청하면 Content Signals Policy를 보여 줍니다. 이 버전에는 정의만 있고 선호는 적혀 있지 않습니다.
use=reference 부분은 최근에 생겼습니다. Cloudflare는 use를 시험 중인 선택적 네 번째 필드로 설명하며 값은 세 가지입니다. immediate(상호작용하되 아무것도 저장·재사용하지 않음), reference(색인하고 발췌하고 원문에 링크), full(요약하고 재현)입니다. 원래의 세 신호에 속하지 않으며, 저희가 확인한 크롤러 문서 중 이를 언급한 곳은 없습니다.
Cloudflare가 이 줄들을 엣지에서 추가하므로 저장소의 파일은 그대로인데 크롤러가 받는 파일은 다를 수 있습니다. 직접 줄을 추가하기 전에 실제 https://yourdomain.com/robots.txt를 가져와 보세요. 그래야 응답 하나에 서로 다른 정책 두 개가 적히는 일을 피할 수 있습니다.
대형 사이트의 도입률은 아직 낮습니다. 2026년 11월 가장 인기 있는 도메인 1,000개 조사에서 robots.txt를 제공한 518개 사이트 중 18곳(3.5%)이 Content-Signal을 썼습니다.
AI 크롤러는 Content-Signal을 따르나요?
찾을 수 있었던 문서로는 아닙니다. 2026년 11월 17일 OpenAI, Anthropic, Google, Perplexity의 크롤러 페이지를 확인했지만 Content-Signal을 언급한 곳은 없었습니다. Cloudflare 스스로도 이 신호를 스크래핑에 대한 기술적 대응책이 아니라 선호 표시로 설명하며, 일부 기업은 그냥 무시할 수 있다고 밝힙니다.
AI 기업들이 대신 문서화한 것은 IETF AI Preferences 워킹 그룹의 작업에 기반한 별도 방식입니다. 일반 User-Agent 그룹으로 쓰는 정책 토큰 __usage_ai-training입니다. 이 토큰은 학습만 다루며, 이를 정의한 Internet-Draft에 따르면 User-Agent: * 그룹은 이 토큰을 쓴 것으로 치지 않습니다.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ 지원 상황은 제각각이고 일부는 아직 시행 전입니다. Anthropic은 2026년 10월 30일부터 기계 판독 가능한 일반 학습 신호를 인식하고 있으며 단계적으로 적용 중이고, ClaudeBot을 지정한 규칙이 그보다 우선한다고 밝힙니다. Microsoft는 Bing용 __usage_ai-training 토큰을 문서화했으며, 새 선호 설정은 2027년 2월 1일부터 페이지가 크롤링되는 대로 적용됩니다. Google은 2027년에 이 공동 제어 방식을 지원할 계획이며, Google-Extended가 지정되지 않은 경우 이를 통한 학습 거부를 그 토큰의 disallow로 취급할 예정이라고 밝힙니다. OpenAI는 같은 날 공동 신호를 따르겠다는 발표를 냈지만 날짜는 밝히지 않았습니다.
즉 ai-train=no와 __usage_ai-training은 비슷한 뜻이지만, AI 기업이 지원을 문서화한 것은 후자뿐입니다. 오늘 각 업체가 실제로 적용하는 제어 수단은 여전히 GPTBot, ClaudeBot 같은 크롤러별 토큰입니다.
내 robots.txt에 Content-Signal을 추가해야 할까요?
기계와 사람이 모두 읽을 수 있는 한곳에 내 이용 정책을 적어 두고 싶다면 추가하세요. 모든 크롤러에 대한 ai-input 선호를 한 줄로 밝힐 수도 있는데, 업체별 토큰으로는 크롤러마다 따로 적어야 합니다. 비용은 한 줄이고, 이를 모르는 파서는 건너뜁니다.
이것만 믿지는 마세요. 콘텐츠를 학습에서 빼려면 문서화된 학습 토큰도 차단하고 공동 학습 토큰도 고려하세요. AI 검색에는 남으면서 AI 학습을 차단하는 가이드에 업체별 토큰이 정리되어 있습니다. robots.txt를 무시하는 대상에는 방화벽 규칙만이 차단을 강제합니다.
마지막으로 이 줄이 파일의 나머지와 맞는지 확인하세요. OAI-SearchBot이나 PerplexityBot을 위한 Allow 그룹 옆에 ai-input=no가 있으면 앞뒤가 맞지 않습니다. AI 검색 크롤러를 들여보내면서 그들이 가져간 것을 답변에 쓰지 말라고 하는 셈이기 때문입니다.
내 robots.txt가 각 크롤러에 무엇을 말하는지 어떻게 확인하나요?
무료 AISeeWhy robots.txt 테스터는 페이지 주소나 붙여 넣은 robots.txt를 받아, AI·검색 크롤러마다 그 페이지를 가져갈 수 있는지 보여 줍니다. 따라서 Cloudflare가 앞에 붙인 내용까지 포함해 실제 파일이 내 의도대로인지 확인할 수 있습니다. 무료 robots.txt 생성기는 선택한 내용으로 파일을 만들어 줍니다.
다음 단계
이 글에 나오는 크롤러
자주 묻는 질문
Content-Signal은 robots.txt 표준의 일부인가요?
아니요. RFC 9309는 User-agent, Allow, Disallow를 정의하고 다른 레코드의 해석은 크롤러에 맡깁니다. Content-Signal은 CC0 라이선스로 공개된 Cloudflare의 Content Signals Policy에서 나왔습니다. 이와 별도로 IETF AI Preferences 워킹 그룹이 robots.txt용 Content-Usage 규칙을 만들고 있지만 아직 Internet-Draft이며 표준은 아닙니다.
ai-train=no로 GPTBot이나 ClaudeBot을 막을 수 있나요?
업체 문서로는 아닙니다. OpenAI와 Anthropic은 GPTBot과 ClaudeBot을 지정한 robots.txt 규칙으로 제어한다고 설명하며, 두 크롤러 페이지 모두 Content-Signal을 언급하지 않습니다. 어느 쪽이든 학습을 거부하려면 토큰 이름을 지정해 차단하세요.
Content-Signal과 __usage_ai-training의 차이는?
Content-Signal은 그룹 안의 한 줄로 검색, AI 입력, 학습을 다룹니다. __usage_ai-training은 독립된 User-Agent 그룹으로 쓰는 정책 토큰으로 학습만 다룹니다. Anthropic, Microsoft, Google, OpenAI는 공동 학습 신호에 대한 입장을 발표했지만, Content-Signal을 문서화한 곳은 없습니다.
Google Search Console에 Syntax not understood가 뜨는 이유는?
Google robots.txt 문서가 지원하는 것은 user-agent, allow, disallow, sitemap뿐이므로 다른 줄은 표시될 수 있습니다. Cloudflare는 이런 표시로 크롤링 빈도나 SEO에 영향이 있는 것을 관찰하지 못했다고 밝힙니다.
use=reference는 무슨 뜻인가요?
Cloudflare가 시험 중인 네 번째 필드입니다. reference는 색인하고 발췌하고 원문에 링크한다는 뜻입니다. Cloudflare는 이를 관리형 robots.txt 파일에 넣으며, 저희가 확인한 크롤러 문서 중 이를 언급한 곳은 없습니다.
참고 자료
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI 크롤러 접근 보고서, 2026-11