llms.txt를 공개하는 사이트는 얼마나 될까요? 도메인 1만 곳을 확인했습니다

게시일

핵심 답변

가장 인기 있는 도메인 1만 곳 중 12.4%(1,240곳)가 llms.txt를 공개하며, 홈페이지가 HTML로 응답하는 도메인만 보면 16.7%입니다. 규모가 큰 사이트일수록 더 자주 공개합니다. llms.txt를 공개하는 사이트가 AI 검색 크롤러를 차단하는 비율은 1.4%로, 공개하지 않는 사이트의 15.0%보다 훨씬 낮습니다. 이 수치는 공개 여부만 센 것이며, AI 어시스턴트가 이 파일을 읽는지는 보여 주지 않습니다.

llms.txt는 AI 검색에서 가장 많이 논의되지만 가장 적게 측정된 파일 중 하나입니다. 앞서 상위 1만 개 도메인의 robots.txt를 읽었고, 같은 과정에서 각 도메인에 /llms.txt도 요청했습니다. 그 결과를 소개합니다.

이 글의 목차
  1. 어떻게 확인했나요?
  2. 무엇을 발견했나요?
  3. 규모가 큰 사이트가 더 많이 공개하나요?
  4. 어떤 사이트가 공개하나요?
  5. 이 데이터가 보여 주지 않는 것은 무엇인가요?
  6. 공개해야 할까요?

어떻게 확인했나요?

Tranco 목록(목록 ID JZWZY)의 상위 1만 개 도메인을 대상으로, 2026년 11월 21일에 홈페이지를 읽고 메인 호스트로의 리디렉션을 따라간 뒤, AISeeWhy의 자체 user agent로 각 도메인에 /llms.txt를 한 번씩 요청했습니다.

/llms.txt 자체가 200으로 응답하고, 본문이 비어 있지 않은 텍스트이며 HTML 페이지가 아니고, 로그인이나 홈페이지 같은 다른 페이지로 리디렉션되지 않는 경우에 llms.txt를 공개하는 도메인으로 집계했습니다. 이번 조사에서는 파일의 형식은 확인하지 않았습니다.

무엇을 발견했나요?

규모가 큰 사이트가 더 많이 공개하나요?

네, 차이가 뚜렷합니다. 웹사이트(홈페이지가 HTML로 응답한 도메인)를 Tranco 순위별로 나누어 보았습니다.

어떤 사이트가 공개하나요?

robots.txt를 제공하는 6,192개 도메인 중에서, llms.txt를 공개하는 도메인은 나머지와 다른 모습을 보입니다.

다시 말해, 굳이 llms.txt를 공개하는 사이트는 대부분 이미 AI 크롤러를 받아들이고 있는 사이트입니다.

이 데이터가 보여 주지 않는 것은 무엇인가요?

이는 연관성일 뿐 인과관계가 아닙니다. AI 가시성을 진지하게 고민하는 사이트는 llms.txt를 공개하면서 robots.txt도 열어 둘 수 있으며, 그렇다고 해서 그 파일이 차이를 만들었다는 뜻은 아닙니다. 또한 이 집계는 공개 여부만 측정합니다. AI 어시스턴트가 이 파일을 읽는지는 보여 주지 않으며, 주요 AI 검색 크롤러도 이 파일을 사용한다고 밝히지 않았습니다.

이 수치는 가장 인기 있는 도메인을 대상으로 하루 동안 한 주소에서 확인한 홈페이지 규칙과 파일을 설명합니다. 규모가 작은 사이트는 다를 수 있습니다.

공개해야 할까요?

비용이 적게 들고 해가 없습니다. 사이트를 요약한 짧은 Markdown 글과 가장 유용한 페이지 목록이면 됩니다. 내용을 정확하게 유지하고 링크가 계속 작동하게 하세요. 크롤러를 받아들이는 일의 대체재로 여기지는 마세요. 방화벽이 크롤러를 거부하거나 robots.txt가 허용하지 않는 사이트의 llms.txt는 누구에게도 도움이 되지 않습니다.

무료 도구

다음 단계

자주 묻는 질문

llms.txt가 있는 웹사이트는 얼마나 되나요?

확인한 가장 인기 있는 도메인 1만 곳 중 12.4%가 공개합니다. 홈페이지가 HTML로 응답하는 도메인에서는 16.7%이며, 가장 큰 사이트에서는 더 높아서 상위 1,000곳에서는 22.6%입니다.

llms.txt가 있는 사이트는 AI 크롤러를 더 자주 허용하나요?

저희 데이터에서는 그렇습니다. 이런 사이트가 AI 검색 및 사용자 크롤러를 차단하는 비율은 1.4%로, 없는 사이트의 15.0%보다 낮습니다. 다만 이는 상관관계입니다. 이 파일이 크롤러가 사이트를 대하는 방식을 바꾼다는 증거는 아닙니다.

llms.txt가 AI 어시스턴트에 인용되는 데 도움이 되나요?

저희 데이터로는 알 수 없습니다. 어떤 사이트가 이 파일을 공개하는지만 집계했을 뿐 어시스턴트가 이를 사용하는지는 확인하지 않았고, 주요 AI 검색 크롤러도 이 파일을 읽는다고 밝히지 않았습니다. 크롤링할 수 있는 페이지와 열린 접근이 더 중요합니다.

사이트에 진짜 llms.txt가 있는지 어떻게 확인하나요?

/llms.txt를 요청해 그 주소에서 200으로 응답하고 본문이 HTML 페이지가 아닌 텍스트인지 확인하세요. 홈페이지나 로그인 페이지로의 리디렉션은 llms.txt가 아닙니다.

참고 자료

다른 글