내 사이트가 갑자기 AI 크롤러를 차단하는 이유는?
AI 크롤러를 차단하기 시작한 사이트는 거의 항상 다섯 곳 중 하나가 바뀐 경우입니다. 실제로 제공되는 robots.txt, Cloudflare AI 크롤러 정책 같은 CDN 설정, 봇 차단이나 요청 속도 제한, 호스팅 기본값, 이제 오류로 응답하는 robots.txt입니다. 오늘의 robots.txt와 페이지를 각 크롤러로 가져와 브라우저 결과 및 이전 상태와 비교하고, 이 순서대로 각 계층을 점검하세요.
AI 답변에서 사라지기로 마음먹는 사람은 없습니다. 테마 업데이트, 보안 설정, 이전 작업, 서비스 업체의 기본값 변경에 따른 부작용으로 일어납니다. 브라우저로는 사이트가 정상으로 보이기 때문에, 누군가 ChatGPT나 Perplexity에 제품을 물었다가 경쟁사가 나오기 전까지 변화를 모를 수 있습니다. 각 계층은 외부에서나 로그에서 확인할 수 있는 흔적을 남깁니다.
이 글의 목차
크롤러가 받는 robots.txt가 바뀌었나요?
https://yourdomain.com/robots.txt를 가져와 저장소나 백업에 있는 파일과 비교하세요. 디스크의 파일이 아니라 실제로 제공되는 파일을 보세요. 중간의 여러 계층이 파일을 바꿀 수 있기 때문입니다.
- 배포 과정에서
Disallow: /가 든 스테이징용 robots.txt가 올라가거나, 이전 작업 후 플랫폼 기본값이 그대로 남습니다. - 사이트 빌더 설정이 AI 크롤러 규칙을 추가합니다. 예를 들어 Squarespace에는 Block known artificial intelligence crawlers 옵션이 있는데, robots.txt에 봇 이름 26개를 적고 앞으로 더 추가될 수 있다고 밝힙니다. 기본값은 꺼짐이라 누군가 켜야 하지만, 켠 뒤에는 목록이 늘어날 수 있습니다.
- SEO나 보안 플러그인 업데이트가 새 규칙을 쓰거나, 누군가 켜게 되는 새 옵션을 추가합니다.
- Bot Preference Sync가 켜져 있고 AI 정책이 Block이나 Disallow로 설정되면 Cloudflare는 관리형 robots.txt를 내 파일 앞에 붙입니다. 그러면 내 파일은 그대로인데도 제공되는 파일은
ClaudeBot,GPTBot및 다른 학습 토큰 6개에 대한Disallow: /로 시작합니다. - 학습 크롤러용 규칙이
OAI-SearchBot,Claude-SearchBot,PerplexityBot같은 검색 크롤러를 포함한 다른 크롤러에도 복사되었습니다.
Google Search Console의 robots.txt 보고서는 최근 30일 동안 Google이 가져온 버전을 보여 주며, 파일이나 가져오기 결과가 바뀔 때마다 항목이 새로 생깁니다. Google이 본 것만 담지만, 서버가 user agent에 따라 robots.txt를 다르게 보내지 않는 한 AI 크롤러도 같은 파일을 받았습니다.
Cloudflare의 2026년 AI 크롤러 정책이 내 사이트 허용 범위를 바꿨나요?
Cloudflare는 AI 크롤러 제어 기능을 여러 차례 바꿨고, 일부 변경은 아무도 수정하지 않았는데 영역(zone)의 동작을 바꿉니다. 2025년 7월 1일부터는 새 도메인 가입 시 AI 크롤러를 허용할지 묻기 시작했고, 시작 상태는 차단이었습니다. 2026년 7월 1일에는 하나였던 Block AI bots 스위치를 Free를 포함한 모든 요금제에서 Search, Agent, Training 정책으로 나눴습니다.
대부분의 사이트가 걸리는 부분은 다목적 크롤러입니다. Cloudflare 문서는 Training 동작이 검색과 학습에 모두 쓰이는 크롤러에도 적용된다고 밝힙니다. 2026년 7월 발표에서는 2026년 9월 15일부터 새 옵션이든 기존 Block AI bots 설정이든 Training 차단을 선택한 고객에게 Googlebot, Applebot, BingBot 같은 다목적 크롤러도 차단된다고 했습니다. 따라서 1년 전에 설정한 학습 거부가 이제 검색 크롤러에까지 미칠 수 있습니다.
새 도메인의 기본값은 시기에 따라 다르게 설명되어 왔습니다. 같은 발표는 2026년 9월 15일부터 새 도메인에서 광고를 표시하는 페이지에 Training과 Agent가 차단된다고 했지만, 2026년 11월 2일에 갱신된 정책 문서는 새 도메인이 세 정책 모두 Allow로 시작한다고 설명합니다. Security, Settings를 열고 Bot traffic으로 필터링한 뒤 내 영역의 AI Crawler and Agent access policies를 확인하세요. Cloudflare AI Crawl Control 가이드에서 각 설정을 설명합니다.
봇 차단 기능이나 요청 속도 제한이 크롤러를 막고 있나요?
봇 차단 기능은 요청마다 판단하는데, 크롤러는 데이터 센터에서 많은 페이지를 빠르게 가져갑니다. 봇이 하는 일이 바로 그것입니다. 지난달 통과하던 크롤러도 운영사가 IP 대역이나 크롤링 속도를 바꾸거나 차단 규칙이 업데이트되면 확인 페이지를 받기 시작할 수 있습니다. Cloudflare의 Bot Fight Mode가 흔한 원인이며, Cloudflare는 이를 WAF 사용자 지정 규칙이나 Page Rules로 우회하거나 건너뛸 수 없다고 밝힙니다. 따라서 켜져 있는 동안에는 나중에 추가한 허용 규칙이 소용없습니다. 몰려드는 요청에 429로 응답하는 새 속도 제한도 바쁜 크롤러에 같은 효과를 냅니다.
외부에서 테스트하세요. 페이지를 브라우저와 AI 검색 크롤러 두 개로 요청한 다음, robots.txt를 크롤러로 요청합니다.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 크롤러에만 403, 429, 503이 나오거나, 제목이 Just a moment...인 페이지가 나오거나, 본문이 브라우저보다 훨씬 작다면 크롤러가 다르게 취급되고 있습니다. 테스트는 업체가 아니라 내 IP에서 나가므로, 검증된 봇 여부에 기반한 규칙은 실제 크롤러를 또 다르게 다룰 수 있습니다. 어떤 규칙이 응답했는지는 방화벽 이벤트 로그에 나옵니다.
호스팅 업체가 기본값을 바꿨나요?
일부 호스팅은 내 규칙이 실행되기 전에 서버에서 AI 트래픽을 걸러 냅니다. 예를 들어 SiteGround는 2025년 8월, 학습 데이터 수집용 AI 크롤러는 기본으로 차단하고 사람이 AI 어시스턴트에 페이지에 대해 물을 때 방문하는 크롤러는 허용한다고 밝혔습니다. 이런 규칙은 robots.txt에 나타나지 않으며, 호스팅이 봇 목록을 갱신하면 바뀔 수 있습니다.
같은 호스팅의 여러 사이트에서 동시에 차단이 나타나거나, 애플리케이션 로그에 도달하지 않는 응답에서 차단이 보인다면, 호스팅 업체에 내 계정에 어떤 봇 규칙이 적용되는지, 유지하고 싶은 크롤러를 예외로 둘 수 있는지 문의하세요.
robots.txt가 오류로 응답하고 있나요?
실패하는 robots.txt는 어떤 Disallow 줄보다 많은 것을 막을 수 있습니다. RFC 9309에 따르면 4xx 응답은 크롤러가 모든 것을 가져가도 된다는 뜻이지만, 서버 오류(5xx)나 무응답은 사이트 전체가 차단된 것으로 간주해야 한다는 뜻입니다. Google은 이런 오류가 나면 처음 12시간 동안 크롤링을 멈추고, 이후 최대 30일 동안 마지막 정상 사본을 씁니다.
이렇게 해서 트래픽 급증, /robots.txt에 확인 페이지를 띄우는 방화벽 규칙, 이 파일까지 포함한 속도 제한이 규칙 하나 바꾸지 않고도 규칙을 지키는 크롤러를 내쫓을 수 있습니다. 위 테스트의 마지막 명령은 200과 text/plain을 반환해야 합니다. 여기서 5xx, 시간 초과, 확인 페이지가 나온다면 가장 먼저 고치세요.
언제부터 시작됐는지 어떻게 알아내나요?
날짜를 알면 미스터리가 비교 문제로 바뀝니다. 접근 로그에서 AI 크롤러 user agent의 요청을 걸러 내고, 상태 코드가 200에서 403, 429, 503으로 바뀐 날이나 robots.txt를 읽은 뒤 페이지 요청을 멈춘 날을 찾으세요. 서버 로그에서 AI 크롤러를 확인하는 가이드에 명령이 나와 있습니다. CDN이 차단한 요청은 원본 서버에 도달하지 않으므로 CDN도 확인하세요. Cloudflare에서는 AI Crawl Control이 시간에 따른 상태 코드 분포를 보여 주며 크롤러별로 필터링할 수 있습니다.
그다음 그 날짜를 배포, 플러그인과 테마 업데이트, CDN 설정 변경, 서비스 업체 공지와 맞춰 보세요. 조치하기 전에 요청 IP가 해당 업체의 것인지 확인해, 이름만 빌린 사칭이 아니라 실제 크롤러를 보고 있는지 확실히 하세요.
다음에는 어떻게 더 빨리 알아챌 수 있나요?
트래픽이 떨어질 때만이 아니라 배포, CDN 변경, 플러그인 업데이트 후마다 접근을 확인하세요. 무료 AISeeWhy 점검은 실제 브라우저와 함께 16개 AI·검색 크롤러로 페이지를 가져오고, 크롤러별로 robots.txt를 적용하며, 방화벽 확인 페이지를 알아봅니다. 무료 robots.txt 테스터는 오늘 실제로 적용 중인 파일 기준으로 크롤러마다 페이지를 가져갈 수 있는지 보여 줍니다.
다음 단계
이 글에 나오는 크롤러
자주 묻는 질문
ChatGPT에 내 사이트가 더 이상 안 나오는 이유는?
대개 ChatGPT 검색을 담당하는 크롤러 OAI-SearchBot이 robots.txt 변경, CDN 정책, 봇 차단 기능 때문에 차단된 경우입니다. OpenAI는 이를 차단한 사이트가 ChatGPT 검색 답변에 나오지 않는다고 밝힙니다. 이 크롤러 기준으로 각 계층을 점검하고, robots.txt를 고친 뒤에는 OpenAI가 시스템 반영에 걸린다고 밝힌 약 24시간을 기다리세요.
Cloudflare가 내 사이트에서 Googlebot을 차단하기 시작했나요?
그럴 수 있습니다. Cloudflare는 2026년 9월 15일부터 Training을 차단한 고객은 Googlebot, Applebot, BingBot 같은 다목적 크롤러도 차단한다고 밝혔습니다. 문서에 따르면 Training의 Disallow 옵션은 엣지에서 학습 크롤러를 막되 다목적 크롤러는 제외하므로, 내 영역이 어떤 옵션을 쓰는지 확인하세요.
웹사이트 빌더나 플러그인이 robots.txt를 바꿀 수 있나요?
네. 사이트 빌더와 SEO·보안 플러그인은 robots.txt에 AI 크롤러 규칙을 쓸 수 있고, 일부는 시간이 지나며 봇 목록을 늘립니다. 업데이트할 때마다 실제 파일을 가져와 중요한 검색 크롤러에 적용되는 그룹을 읽어 보세요.
실제 robots.txt가 서버에 있는 파일과 다른 이유는?
서버 앞단의 무언가가 파일을 바꾸고 있는 것입니다. 예를 들어 Cloudflare의 관리형 robots.txt는 같은 응답 안에서 내 파일 앞에 자체 규칙과 콘텐츠 신호를 붙입니다. 요청 시 robots.txt를 생성하는 CMS나 호스팅 수준 설정도 파일을 바꾸거나 덧붙일 수 있습니다.
고친 뒤 AI 크롤러가 돌아오기까지 얼마나 걸리나요?
RFC 9309는 크롤러가 캐시한 robots.txt를 24시간 넘게 쓰지 말아야 한다고 하고, OpenAI는 약 24시간, Perplexity는 최대 24시간이라고 밝힙니다. 방화벽 변경은 업체가 배포하는 즉시 적용되지만, 크롤러는 자체 일정에 따라 돌아옵니다.
참고 자료
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers