기업 웹사이트 10곳 중 4곳이 AI 크롤러를 거부합니다
미국, 영국, 프랑스 기업 웹사이트 165곳을 감사한 결과, 38%가 서버에서 AI 크롤러를 하나 이상 거부했으며 거의 모두 학습용 또는 스크래퍼 봇이었습니다. 약 10곳 중 1곳은 인용으로 이어질 수 있는 AI 검색 크롤러인 PerplexityBot이나 OAI-SearchBot도 거부했습니다. 크롤러별로 요청을 한 번씩 보내 본인 사이트를 확인해 보세요.
ChatGPT에 우리 제품에 대해 물었더니 경쟁사, 리뷰 사이트, 포럼 글이 언급됩니다. 콘텐츠의 문제일 때도 있습니다. 하지만 방화벽이 AI 크롤러에 거부 응답을 보내고 있는 경우도 많으며, 브라우저에서는 사이트가 정상적으로 열리기 때문에 팀 안에서 아무도 이를 알아채지 못합니다.
이 글의 목차
무엇을 테스트했나요?
같은 주소에서 페이지를 여러 번 요청합니다. 일반 브라우저로 한 번, 그리고 AI 및 검색 크롤러 14종으로 한 번씩 요청합니다. 여기에는 OpenAI의 GPTBot, OAI-SearchBot, ChatGPT-User, Anthropic의 ClaudeBot, Claude-SearchBot, Perplexity의 PerplexityBot 등이 포함됩니다. 브라우저는 페이지를 받는데 크롤러가 401, 403, 406, 429, 451, 503 또는 챌린지 페이지를 받으면, 그 사이트는 해당 크롤러를 거부하는 것입니다.
표본은 미국, 영국, 프랑스의 기업 웹사이트 218곳이며, 2026년 11월 18일부터 21일까지 감사했습니다. 이 중 165곳에서 전체 테스트를 수행할 수 있었습니다. 나머지 53곳은 일반 브라우저 요청조차 거부했거나 응답하지 않아, 추측하지 않고 제외했습니다.
무엇을 발견했나요?
- 테스트가 가능했던 사이트의 38%(165곳 중 63곳)가 AI 크롤러를 하나 이상 거부했습니다.
- 이 사이트들은 모두 학습용 또는 스크래퍼 크롤러를 하나 이상 거부했습니다. 전체 사이트 기준으로
Bytespider는 35%,ClaudeBot은 13%,GPTBot은 11%가 거부했습니다. - 사이트의 10%(16곳)는 AI 검색 크롤러도 하나 이상 거부했고, 5%(8곳)는 사용자가 어시스턴트에 질문할 때 페이지를 실시간으로 여는 크롤러를 거부했습니다.
- 가장 중요한 검색 크롤러 중에서는
PerplexityBot(11곳)과OAI-SearchBot(5곳)이 많았습니다. - 테스트한 크롤러를 하나라도 거부한 66개 사이트 중 32곳의 배후에는 Cloudflare가 있었습니다. 나머지 30곳은 어떤 방화벽이 응답했는지 알 수 없었습니다.
왜 이런 일이 생기고, 언제 의도된 선택일까요?
상당수는 의도적인 설정일 가능성이 높습니다. 많은 사이트 운영자는 콘텐츠가 모델 학습에 쓰이는 것을 원하지 않으며, 스크래퍼를 막는 봇 차단 설정은 쉽게 켤 수 있습니다. 충분히 타당한 선택입니다.
문제는 AI 기업이 학습용 크롤러와 검색용 크롤러를 따로 운영한다는 점입니다. 학습용 크롤러를 막는다고 해서 검색용 크롤러까지 막을 필요는 없으며, 답변에서 내 페이지가 인용되도록 이어 주는 것은 바로 검색용 크롤러입니다.
규모가 큰 사이트는 더 나을까요?
그렇지 않습니다. 가장 인기 있는 도메인 1,000곳을 대상으로 한 robots.txt 보고서에서, robots.txt가 있는 사이트의 29.9%가 AI 학습 크롤러를 하나 이상 차단하며, 그중 63.2%는 AI 검색 또는 사용자 크롤러도 하나 이상 차단합니다. 학습용만 차단하고 모든 AI 검색 크롤러를 허용하는 사이트는 11.0%에 불과한데, 대부분은 이런 설정을 원했을 가능성이 높습니다.
10분 안에 내 사이트를 확인하려면 어떻게 하나요?
yoursite.com/robots.txt를 여세요. 신경 쓰는 AI 크롤러마다 해당 크롤러를 지정한 그룹이 있는지, 그 그룹이 무엇을 말하는지 확인하세요. 크롤러를 지정한 그룹은 일반*그룹을 완전히 대체합니다.- 파일에 적힌 내용이 아니라 서버가 실제로 하는 일을 테스트하세요. 핵심 페이지를 브라우저와 크롤러로 각각 요청해 보세요. 403, 429, 제목이
Just a moment...인 페이지, 또는 브라우저가 받는 응답보다 훨씬 작은 응답은 방화벽 차단의 전형적인 신호입니다. - 어시스턴트에게 물어보세요. 검색을 켠 상태에서 ChatGPT나 Perplexity에 구매자가 하는 질문을 던지고 어떤 사이트를 인용하는지 확인하세요. 접근에 문제가 없는데도 언급되지 않는다면 접근이 아니라 콘텐츠의 문제입니다.
이 수치는 얼마나 믿을 만한가요?
전수 조사가 아니라 하나의 경향으로 받아들이세요. 표본은 무작위가 아니며, 광고 라이브러리, 구인 사이트, 지도 목록에서 찾은 기업들입니다. 저희는 한 주소에서 user agent를 바꿔 테스트하지만 실제 크롤러는 각 업체가 공개한 주소에서 접속하므로, 일부 방화벽은 실제 크롤러를 다르게 취급할 수 있습니다. 또한 차단이 항상 실수인 것은 아닙니다.
다음 단계
이 글에 나오는 크롤러
자주 묻는 질문
AI 크롤러를 차단하는 웹사이트는 얼마나 되나요?
테스트가 가능했던 기업 웹사이트 165곳을 감사한 결과, 38%가 서버에서 AI 크롤러를 하나 이상 거부했으며 대부분 학습용 및 스크래퍼 봇이었습니다. 약 10%는 AI 검색 크롤러도 거부했습니다.
GPTBot을 차단하면 ChatGPT 검색에서도 제외되나요?
아니요. OpenAI에 따르면 크롤러별 robots.txt 설정은 서로 독립적입니다. GPTBot은 학습과, OAI-SearchBot은 ChatGPT 검색과 관련되며, 하나를 차단해도 다른 하나는 차단되지 않습니다.
robots.txt 없이도 크롤러를 차단할 수 있나요?
방화벽, CDN, 봇 차단 규칙이 크롤러에 403, 429 또는 챌린지 페이지로 응답할 수 있습니다. robots.txt에는 이것이 나타나지 않으므로, 크롤러로서 페이지를 요청해 직접 테스트해야 합니다.
크롤러를 거부하는 것은 항상 실수인가요?
아니요. 많은 운영자는 학습용 크롤러와 스크래퍼를 막고 싶어 합니다. 실수는 검색 크롤러를 의도치 않게 막는 것입니다. 내 페이지를 인용할 수 있는 것은 검색 크롤러이기 때문입니다.
참고 자료
- AISeeWhy: AI 크롤러 접근 보고서, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI 크롤러 개요
- Perplexity: Perplexity 크롤러
- Cloudflare: AI 크롤러 관리(AI Crawl Control)