가장 인기 있는 사이트 1만 곳의 robots.txt를 읽었습니다. AI 크롤러에 대한 그들의 선택은 이렇습니다

게시일

핵심 답변

Tranco 상위 1만 개 도메인 중 robots.txt를 제공하는 6,192개 도메인에서, 23.2%가 AI 학습 크롤러를 하나 이상 차단하고 12.3%가 AI 검색 또는 사용자 크롤러를 하나 이상 차단합니다. 학습을 차단하는 사이트의 51.6%는 AI 검색도 차단합니다. 학습만 거부하고 모든 AI 검색 크롤러를 허용하는 사이트는 11.2%에 불과합니다.

11월에 가장 인기 있는 도메인 1,000곳의 robots.txt를 읽었습니다. 이번에는 같은 방법으로 1만 곳을 읽었고, 사이트 규모가 작아질수록 상황이 어떻게 달라지는지도 확인했습니다. 핵심 결과는 그대로입니다. 학습 차단과 검색 차단은 서로 다른 두 가지 결정인데도 하나의 결정처럼 다뤄지고 있습니다.

이 글의 목차
  1. 어떻게 측정했나요?
  2. 무엇을 발견했나요?
  3. 가장 자주 차단되는 크롤러는 무엇인가요?
  4. 규모가 큰 사이트일수록 더 많이 차단하나요?
  5. 11월 12일 보고서 이후 달라진 점이 있나요?
  6. 내 robots.txt에는 어떤 의미가 있나요?
  7. 이 수치는 얼마나 믿을 만한가요?

어떻게 측정했나요?

Tranco 목록(목록 ID JZWZY)의 상위 1만 개 도메인을 대상으로, 2026년 11월 21일에 각 도메인의 홈페이지, robots.txt, llms.txt를 AISeeWhy의 자체 user agent로 한 번씩 가져왔습니다. 각 robots.txt는 RFC 9309에 따라 홈페이지(/)와 AI 및 검색 크롤러 16종을 기준으로 판정했습니다.

1만 개 도메인 중 6,192개가 robots.txt를 제공했습니다(HTML 페이지가 아닌 정상 응답). 1,121개는 4xx로 응답했는데, 이는 규칙이 없어 모든 크롤러가 허용된다는 뜻이며, 2,687개는 robots.txt를 제공하지 않았습니다(HTTPS 사이트 없음, 오류, 시간 초과, 또는 HTML 페이지 응답). 아래의 모든 백분율은 6,192개를 기준으로 합니다. 이 목록에는 웹사이트를 제공하지 않는 CDN과 API도 포함되어 있습니다.

무엇을 발견했나요?

가장 자주 차단되는 크롤러는 무엇인가요?

robots.txt가 해당 크롤러에 홈페이지를 허용하지 않는 도메인의 비율입니다(6,192개 도메인 기준).

규모가 큰 사이트일수록 더 많이 차단하나요?

그렇습니다. 또한 학습과 검색을 혼동하는 경우도 더 많습니다. 목록을 순위별로 나누어 보았습니다.

선택적 방식은 어느 규모에서나 드뭅니다. 세 그룹에서 각각 도메인의 10.5%, 10.4%, 11.5%입니다.

11월 12일 보고서 이후 달라진 점이 있나요?

같은 목록으로 상위 1,000개 도메인을 다시 조사했습니다. 결과는 1퍼센트포인트 안팎에서 안정적입니다. 학습 차단은 28.6%(11월 12일에는 29.9%), AI 검색 차단은 18.6%(19.5%), 학습 차단 사이트 중 AI 검색도 차단하는 비율은 63.1%(63.2%)입니다. 이번 조사는 가져오기 전에 도메인의 리디렉션을 따라 메인 호스트로 이동하기 때문에 분모가 약간 다릅니다(robots.txt가 있는 도메인이 이번에는 560개, 당시에는 518개).

내 robots.txt에는 어떤 의미가 있나요?

대부분의 AI 기업은 학습용과 검색용 크롤러를 별도로 문서화하고, 설정이 서로 독립적이라고 밝힙니다. GPTBot을 허용하지 않아도 OAI-SearchBot에는 영향이 없고, ClaudeBot을 허용하지 않아도 Claude-SearchBot에는 영향이 없습니다. 학습은 거부하면서 인용은 계속 받고 싶다면, 학습용 토큰은 차단하고 검색용 및 사용자용 토큰은 허용하세요. 또한 이름을 지정한 그룹은 * 그룹의 규칙을 상속하지 않으므로, 비공개 경로는 모든 그룹에 반복해서 적어야 합니다.

이 수치는 얼마나 믿을 만한가요?

이 수치는 하루 동안 하나의 파서로 읽은 홈페이지 대상 robots.txt 규칙입니다. robots.txt가 허용하는 크롤러도 거부할 수 있는 방화벽 차단은 측정하지 않습니다. 각 사이트의 의도를 알 수 없고, Tranco 목록에는 웹사이트를 제공하지 않는 도메인도 포함되어 있습니다. 검색 크롤러를 차단하는 규칙이 곧 실수의 증거는 아니며, 차이를 모른 채 내리는 경우가 많은 선택의 결과일 뿐입니다. 이 페이지 링크를 달아 수치를 인용하셔도 됩니다.

무료 도구

다음 단계

이 글에 나오는 크롤러

자주 묻는 질문

인기 사이트 중 AI 크롤러를 차단하는 비율은 얼마나 되나요?

Tranco 상위 1만 개 도메인 중 robots.txt를 제공하는 6,192개 도메인에서, 23.2%가 AI 학습 크롤러를 하나 이상 차단하고 12.3%가 AI 검색 또는 사용자 크롤러를 하나 이상 차단합니다.

AI 학습을 차단하는 사이트는 AI 검색도 차단하나요?

자주 그렇습니다. 학습 크롤러를 차단하는 사이트의 51.6%는 AI 검색 또는 사용자 크롤러도 하나 이상 차단합니다. 각 업체는 이들을 설정이 독립적인 별개의 크롤러로 문서화하고 있는데도 그렇습니다.

가장 자주 차단되는 AI 크롤러는 무엇인가요?

학습 크롤러 중에서는 Bytespider(18.7%)와 CCBot(18.5%)이며, 그다음이 GPTBot(17.4%)입니다. AI 검색 크롤러 중에서는 PerplexityBot이 가장 자주 차단되며, 도메인의 10.4%에서 차단됩니다.

1,000개 사이트 보고서와 수치가 다른 이유는 무엇인가요?

상위 1,000개 도메인만 보면 비율이 거의 같습니다(29.9%와 19.5%에 비해 28.6%와 18.6%). 1만 개 사이트 전체의 수치가 더 낮은 것은 규모가 작은 사이트일수록 차단을 덜 하기 때문입니다.

참고 자료

다른 글