Cloudflare AI Crawl Control 보고서를 읽고 어떤 AI 크롤러가 들어오는지 확인하는 방법
Cloudflare 대시보드에서 AI Crawl Control을 여세요. 크롤러 목록에 Cloudflare가 내 도메인에서 본 모든 AI 크롤러와 요청 수, robots.txt 위반, 동작이 Allow인지 Block인지가 나옵니다. AI 검색은 유지하면서 학습은 거부하려면 여기나 AI Crawler and Agent access policies에서 검색·에이전트 크롤러는 허용하고 학습 크롤러는 차단하거나 Disallow로 설정하세요. 그다음 curl로 외부에서 확인하세요. 허용한 크롤러도 다른 Cloudflare 기능이 막을 수 있기 때문입니다.
이제 Cloudflare에는 AI 크롤러가 무엇을 받을지 결정하는 곳이 두 군데 있습니다. 예전 이름이 AI Audit였던 크롤러별 보고서 겸 제어판인 AI Crawl Control, 그리고 Security 설정 아래의 영역 전체에 적용되는 AI Crawler and Agent access policies입니다. 둘 다 Free 플랜에서 쓸 수 있고, 둘 다 2026년에 바뀌었으며, 어느 쪽도 크롤러에 403으로 응답할 수 있는 다른 모든 기능에 대해서는 알려 주지 않습니다. 이 가이드는 보고서를 열 단위로 살펴보고, 허용과 차단을 설정하는 위치를 보여 주며, 내 컴퓨터에서 실행할 수 있는 테스트로 마무리합니다.
이 글의 목차
Cloudflare에서 AI 크롤러 보고서는 어디에 있나요?
대시보드에서 계정과 도메인을 선택한 뒤 AI Crawl Control을 엽니다. Cloudflare에 따르면 별도 설정 없이 작동하고 모든 플랜에서 쓸 수 있으며, 도메인 트래픽이 Cloudflare를 통해 프록시되기만 하면 됩니다. 네 영역으로 나뉩니다.
- Overview: 총 요청 수, 요청량 변화, 가장 흔한 상태 코드, 가장 인기 있는 경로, 요청량이 많은 크롤러를 담은 요약과 함께, Cloudflare 관리형 robots.txt가 켜져 있는지, OpenAI, Microsoft, Google, ByteDance, Anthropic, Meta 같은 운영사별로 묶은 크롤러를 보여 줍니다.
- 크롤러 목록: AI 크롤러마다 한 행이 있고, Action 열에서 Allow나 Block을 고릅니다. Cloudflare 문서는 이 탭을 어떤 페이지에서는 Crawlers, 다른 페이지에서는 Security라고 부르므로 Action 열이 있는 표를 찾으세요.
- Metrics: 시간별 요청, 상태 코드 분포, 콘텐츠 형식, 가장 인기 있는 경로, 그리고 유료 플랜에서는 추천 유입. 날짜 범위, 크롤러, 운영사, 호스트 이름, 경로로 필터링하고 CSV로 내보낼 수 있습니다.
- Directives: robots.txt 파일의 상태와 robots.txt 위반 목록.
수치를 읽을 때 플랜 제한 두 가지가 중요합니다. Free 플랜에서 AI Crawl Control은 user agent 문자열로만 크롤러를 인식하므로 스스로를 밝히는 크롤러만 보이고, Metrics 탭은 지난 24시간만 다룹니다. 유료 플랜은 Bot Management 탐지 ID를 통한 탐지를 더하고, Bot Management가 있는 Enterprise는 기간을 직접 설정할 수 있습니다.
AI Crawl Control 보고서의 각 열과 지표는 무슨 뜻인가요?
Cloudflare는 각 필드를 다음과 같이 설명합니다. 몇몇 수치는 생각보다 많은 것을 세므로 정의가 중요합니다.
- Crawler와 Category: 크롤러 이름, 운영사, 그리고 AI crawler, AI assistant, archiver 같은 카테고리.
- Requests: 허용된 요청과 실패한 요청의 합계와 추세 차트. 실패한 요청은 AI Crawl Control 차단뿐 아니라 어떤 규칙이나 응답 오류에서도 생길 수 있으므로, 허용한 크롤러의 수치가 높다면 다른 규칙이나 원본 서버의 오류를 의심하세요.
- Allowed requests: 200~299 상태를 받은 요청. 데이터 전송량은 허용된 요청에 대해 Cloudflare가 보낸 바이트로 측정합니다.
- Robots.txt violations: 크롤러가 robots.txt에서 금지한 경로를 요청한 횟수. Cloudflare는 과거 요청을 현재 규칙과 비교하므로, 오늘 추가한 규칙이 요청 당시에는 허용되었던 요청을 위반으로 표시할 수 있습니다.
- Action: Allow, Block, 또는 pay per crawl 베타 계정의 경우 Charge.
- 상태 코드 분포: 2xx, 3xx, 4xx, 5xx. 4xx에는 차단에 따른 403과 pay per crawl에 따른 402가 포함됩니다.
- 추천 유입과 상위 리퍼러(유료 플랜만): chatgpt.com 같은 AI 서비스에서 들어온 방문과 그 방문이 도착한 페이지.
보고서는 내가 고른 동작을 기준으로 읽으세요. Allow로 설정한 크롤러라면 대부분 허용된 요청과 2xx 코드가 보여야 합니다. 실패한 요청이 많다면 해당 크롤러로 필터링한 상태 코드 분포를 열고, Security Analytics에서 어떤 규칙이 응답했는지 찾으세요.
Cloudflare에서 AI 검색 크롤러는 허용하고 학습 크롤러는 차단하려면?
크롤러별로 하거나 동작 유형별로 할 수 있습니다. 크롤러별로 하려면 AI Crawl Control을 열고 행마다 Action을 설정합니다. Cloudflare에 따르면 여기서 차단하면 영역에 WAF 사용자 지정 규칙이 생성되거나 업데이트되며, 경로 예외가 필요하면 WAF에서 이 규칙을 확장할 수 있습니다. 유료 플랜에서는 차단된 크롤러가 403과 402 중 무엇을 받을지 고르고 일반 텍스트 본문을 지정할 수 있습니다.
동작 유형별로 하려면 Security, Settings로 가서 Bot traffic으로 필터링하고 AI Crawler and Agent access policies를 엽니다. Cloudflare는 AI 트래픽을 세 가지 유형으로 나누며, 각 정책은 해당 유형의 인증된 봇과 그에 맞는 인증되지 않은 봇에 적용됩니다.
- Search: 나중에 질문에 답할 수 있도록 콘텐츠를 수집하거나 색인하는 것.
- Agent: 채팅 중 페이지 가져오기나 브라우저 에이전트처럼 사람을 대신해 실시간으로 행동하는 것.
- Training: 모델을 학습하거나 미세 조정하기 위해 콘텐츠를 수집하는 것. 학습과 검색 모두에 쓰이는 크롤러도 포함됩니다.
각 유형은 Block, Block on pages with ads, Allow (do not block) 중 하나로 설정할 수 있습니다. Training에는 robots.txt로 크롤러에 요청만 하는 Disallow도 있습니다. Bot Preference Sync를 켜면 Cloudflare가 robots.txt 앞부분에 Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot, meta-externalagent를 금지하는 관리형 규칙과 Content Signals 줄을 추가하고, 검색과 학습에 모두 쓰이는 크롤러를 제외한 AI 학습 크롤러를 엣지에서도 차단합니다.
AI 인용을 원하는 대부분의 사이트에 안전한 조합은 Search와 Agent는 Allow, Training은 Disallow로 두고, 엣지에서 막고 싶은 학습 전용 크롤러에만 AI Crawl Control에서 개별적으로 Block을 거는 것입니다.
Cloudflare의 AI 크롤러 기본 설정은 어떻게 바뀌었나요?
2025년 7월 1일 Cloudflare는 AI 크롤러가 창작자에게 대가를 지불하지 않으면 기본적으로 차단하도록 바꾼다고 발표했습니다. 2026년 7월 1일에는 하나였던 Block AI bots 스위치를 위에서 설명한 Search, Agent, Training 정책으로 나누었고, Free를 포함한 모든 플랜에 적용했습니다. 같은 발표에서 2026년 9월 15일부터 새로 등록하는 도메인은 광고가 있는 페이지에서 Training과 Agent가 차단되고 Search는 허용된다고 했습니다.
2026년 11월 2일에 마지막으로 업데이트된 Cloudflare의 현재 정책 문서는 새 도메인의 세 유형 모두 기본값이 Allow (do not block)라고 합니다. Cloudflare 자체 문서가 시기마다 다른 기본값을 설명해 왔으므로 어느 것도 내 영역에 그대로 적용된다고 믿지 말고, 정책 페이지를 열어 실제 설정을 확인하세요.
허용했는데도 Cloudflare가 AI 크롤러를 계속 차단하는 이유는?
AI Crawl Control의 Allow 동작은 AI Crawl Control 자체의 차단만 멈춥니다. 다른 기능은 여전히 요청에 작동합니다. 흔한 원인은 다음과 같습니다.
- Training을 차단하면 두 용도를 겸하는 검색 크롤러도 차단됩니다. Cloudflare 문서에 따르면 Training 동작은 혼합 용도 크롤러에도 적용되며, 2026년 7월 발표는 Training을 차단한 고객이 2026년 9월 15일부터 차단하게 될 크롤러로 Googlebot, Applebot, bingbot을 꼽습니다. Disallow는 엣지 차단에서 혼합 용도 크롤러를 건너뛰므로 범위가 더 좁은 선택입니다.
- Bot Fight Mode가 켜져 있습니다. Cloudflare는 WAF 사용자 지정 규칙이나 Page Rules로 Bot Fight Mode를 우회하거나 건너뛸 수 없다고 밝힙니다. 크롤러에 확인 페이지를 보낸다면 끄거나, 지원되는 플랜에서는 건너뛰기 규칙을 지원하는 Super Bot Fight Mode를 쓰세요.
- 예전에 만든 WAF 사용자 지정 규칙이
bot이 포함된 user agent를 차단하거나, 속도 제한 규칙이 급증한 요청에 429로 응답합니다. 이들은 AI Crawl Control의 Action과 관계없이 작동합니다. - 차단 규칙을 직접 수정했습니다. AI Crawl Control 뒤의 WAF 규칙이 다른 응답 코드로 바뀌었다면 대시보드는 더 이상 선택한 설정을 적용할 수 없습니다.
- robots.txt가 여전히 크롤러를 금지합니다. Cloudflare의 Allow는 robots.txt를 바꾸지 않으므로 규칙을 지키는 크롤러는 어차피 들어오지 않습니다. 가장 인기 있는 1,000개 도메인을 조사한 결과, robots.txt에서 AI 학습 크롤러를 차단한 155개 사이트 중 98개가 AI 검색 또는 사용자 크롤러도 하나 이상 차단했습니다.
Cloudflare가 어떤 AI 크롤러를 들여보내는지 외부에서 어떻게 확인하나요?
같은 페이지를 브라우저 user agent와 각 크롤러의 user agent로 요청한 뒤 상태와 크기를 비교하세요. 아래 OpenAI, Perplexity, Google 문자열은 각 회사가 공개한 것입니다.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 크롤러 줄에 403, 429, 503이 나오거나 크기가 브라우저 줄보다 훨씬 작다면, 원본 서버 앞의 무언가가 다르게 응답한 것입니다. Free 플랜에서 AI Crawl Control은 user agent로 크롤러를 탐지하므로 이 테스트로 그 차단을 꽤 정확히 확인할 수 있습니다. 인증된 봇 여부나 봇 점수를 기준으로 하는 규칙은 요청이 운영사가 공개한 IP 대역이 아니라 내 IP 주소에서 나가므로 실제 크롤러와 다르게 처리할 수 있습니다. 테스트 후 Security Analytics에서 내 요청을 찾아 어떤 규칙이 일치했는지 확인하세요.
AISeeWhy는 Cloudflare가 AI 크롤러에 보내는 응답을 어떻게 확인하나요?
무료 AISeeWhy 검사는 실제 브라우저와 나란히 16개의 AI·검색 크롤러로 페이지를 요청하고, 크롤러별로 robots.txt를 적용하며, 방화벽 확인 페이지를 알아봅니다. 그래서 Cloudflare 대시보드의 결과가 크롤러가 실제로 받는 것과 일치하는지 확인할 수 있습니다.
이 문제의 해결 방법
다음 단계
이 글에 나오는 크롤러
자주 묻는 질문
Cloudflare AI Crawl Control은 무료인가요?
네. Cloudflare는 AI Crawl Control을 모든 플랜에서 제공한다고 안내합니다. Free 플랜은 user agent로만 크롤러를 탐지하고 Metrics에서 지난 24시간을 보여 줍니다. 추천 유입 데이터와 사용자 지정 차단 응답은 유료 플랜이 필요합니다.
Cloudflare AI Audit는 어떻게 되었나요?
이름이 바뀌었습니다. Cloudflare 문서는 AI Crawl Control을 예전의 AI Audit로 설명하며, 어떤 AI 크롤러가 방문하는지 보고 크롤러마다 동작을 정한다는 목적도 같습니다.
AI Crawl Control에서 크롤러를 차단하면 robots.txt가 바뀌나요?
아닙니다. Block 동작은 WAF 사용자 지정 규칙을 만들거나 업데이트합니다. robots.txt는 Bot Preference Sync와 함께 Training에 Disallow 옵션을 쓸 때만 바뀌며, 이때 Cloudflare의 관리형 규칙이 파일 앞부분에 추가됩니다.
Cloudflare에서 robots.txt 위반은 무엇을 말하나요?
AI 크롤러가 robots.txt에서 금지한 경로를 요청한 것입니다. Cloudflare는 과거 요청을 현재 규칙과 비교하므로, 새 규칙이 당시에는 허용되었던 예전 요청을 위반으로 표시할 수 있습니다.
pay per crawl은 무엇인가요?
AI 크롤러에 요청마다 대가를 지불하도록 요구하고, 지불하지 않으면 HTTP 402와 가격으로 응답하는 Charge 동작입니다. Cloudflare는 이를 비공개 베타로 설명하며, WAF나 Bot Management 차단이 이보다 우선합니다.
참고 자료
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI 크롤러 접근 보고서, 2026-11