llms.txt란 무엇이고, 추가할 가치가 있을까?
llms.txt는 /llms.txt에 두자고 제안된 Markdown 파일로, AI 도구에 사이트의 짧은 요약과 가장 유용한 페이지로 가는 링크 목록을 제공합니다. 커뮤니티의 제안이지 표준이 아니며, 주요 AI 검색 크롤러가 이를 사용한다고 밝히지 않았습니다. 추가하는 비용은 낮지만 크롤링 가능한 HTML을 대체하지는 못합니다.
llms.txt는 많은 관심을 받으며 흔히 AI의 robots.txt처럼 소개됩니다. 하지만 서로 다른 것입니다. robots.txt는 크롤러가 가져갈 수 있는 것을 밝히고, llms.txt는 AI 도구에 읽을 만한 콘텐츠를 안내하는 읽기 가이드입니다. 제안의 내용, 사용에 대해 알려진 사실, 작성 방법을 정리했습니다.
이 글의 목차
llms.txt는 어디에서 시작되었나요?
Jeremy Howard가 2024년 9월에 /llms.txt 파일을 제안했으며, 제안은 llmstxt.org에서 관리됩니다. 목적은 학습이 아니라, 예를 들어 코딩 어시스턴트가 라이브러리 문서를 필요로 할 때처럼 추론 시점에 언어 모델과 에이전트가 웹사이트를 활용하도록 돕는 파일 하나를 표준화하는 것입니다.
이 아이디어는 실제 문제에 대응합니다. 웹페이지에는 내비게이션, 스크립트, 배너, 레이아웃이 들어 있습니다. 핵심 페이지의 깔끔한 버전으로 가는 링크를 담은 짧고 엄선된 Markdown 파일은 제한된 컨텍스트 창 안에서 모델이 다루기 더 쉽습니다.
llms.txt 파일에는 무엇이 들어가나요?
파일은 순서가 정해진 Markdown입니다. 첫 번째 요소만 필수입니다.
- 사이트 또는 프로젝트 이름의 H1(필수).
- 사이트가 무엇인지 짧게 요약한 인용 블록.
- 제목 없이 더 자세한 내용을 담은 선택적 문단 또는 목록.
- H2 섹션. 각각
[name](url)형식의 Markdown 링크 목록을 담고, 필요하면 콜론과 설명을 덧붙입니다. - 도구가 컨텍스트를 줄여야 할 때 건너뛸 수 있는 보조 링크를 위한
Optional이라는 이름의 선택적 섹션.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)제안에는 도구가 깔끔한 텍스트를 가져올 수 있도록, 같은 URL 뒤에 .md를 붙인(예: page.html.md) 페이지의 Markdown 버전을 제공하는 방법도 포함되어 있습니다.
현재 llms.txt를 실제로 읽는 곳은 어디인가요?
이 부분은 신중해야 합니다. llmstxt.org 사이트에 따르면 이 파일은 코딩 에이전트가 따라가는 소프트웨어 문서에서 가장 많이 사용됩니다. OpenAI, Anthropic, Google, Perplexity는 우리가 검토한 크롤러 문서에서 검색 크롤러가 사용하는 신호로 llms.txt를 꼽지 않습니다.
Google은 자사 검색 기능에 대해 한 걸음 더 나아갑니다. AI Overviews와 AI Mode에 대한 가이드에서, 거기에 표시되기 위해 새로운 기계 판독용 파일, AI용 텍스트 파일, 마크업을 만들 필요가 없다고 밝힙니다. Google 검색에서 llms.txt는 명시된 역할이 없습니다.
그러니 솔직한 답은 이렇습니다. 일부 AI 도구, 주로 사이트를 지정받은 코딩 어시스턴트와 에이전트는 이를 읽을 수 있습니다. AI 검색이 내 페이지를 인용할지 결정하는 크롤러는 HTML을 바탕으로 동작합니다.
파일이 읽히는지는 직접 확인할 수 있습니다. 서버나 CDN 로그에서 /llms.txt에 대한 요청을 검색하고 user agent를 살펴보세요. 몇 주 동안 요청이 없다면, 일반적인 주장보다 내 사이트에서의 가치를 더 잘 알려줍니다.
그래도 추가해야 할까요?
대부분의 사이트에서는 비용이 낮고 확실성도 낮은 추가 작업입니다. 몇 분이면 되고, 검색 노출에 해가 되지 않으며, 이를 찾는 에이전트에게는 도움이 될 수 있습니다. 문서, 개발자 도구, 참조 자료가 많은 제품에서 가장 유용합니다.
llms.txt가 할 수 없는 것은 접근 문제를 해결하는 일입니다. 방화벽이 AI 크롤러를 차단하거나, robots.txt가 이를 막거나, 콘텐츠가 JavaScript 실행 후에만 나타난다면 llms.txt로는 아무것도 바뀌지 않습니다. 그런 문제를 먼저 해결하세요.
좋은 llms.txt는 어떻게 쓰나요?
https://yourdomain.com/llms.txt에 두고, HTML 페이지가 아니라 상태 코드 200의 일반 텍스트로 제공하세요.- 요약은 새 동료에게 두 문장으로 사이트를 설명하듯 쓰세요. 무엇인지, 누구를 위한 것인지를 담습니다.
- 실제 질문에 답하는 페이지를 나열하세요. 제품, 가격, 문서, 정책 등입니다. 태그 페이지와 아카이브는 제외합니다.
- 절대 URL을 사용하고, 쓸모 있게 유지될 만큼만 짧게 목록을 만드세요. 대부분의 사이트에는 수십 개의 링크면 충분합니다.
- 최신 상태를 유지하세요. 삭제된 페이지로 연결되는 파일은 없는 것보다 나쁩니다.
- 권한을 밝히는 데 사용하지 마세요. 접근 규칙은 robots.txt에 속합니다.
AISeeWhy는 llms.txt를 어떻게 다루나요?
AISeeWhy는 사이트에 llms.txt가 있는지, 검사한 페이지가 그 안에 포함되어 있는지 확인합니다. 현재 AI 크롤러가 거의 읽지 않으므로 파일이 없는 것은 가장 낮은 우선순위인 P3 발견 사항이며, 보고서에는 페이지 제목, 설명, 사이트맵으로 만든 초안이 포함되어 있어 편집해서 게시할 수 있습니다.
자주 묻는 질문
llms.txt는 공식 표준인가요?
아닙니다. llmstxt.org에 게시된 커뮤니티의 제안입니다. IETF나 W3C 표준이 아니며, 어떤 AI 벤더도 이를 읽어야 할 의무가 없습니다.
llms.txt로 AI 학습을 차단할 수 있나요?
아닙니다. 이것은 링크 목록이지 권한을 정하는 설정이 아닙니다. 학습을 거부하려면 robots.txt에서 GPTBot, ClaudeBot, Google-Extended 같은 학습 토큰을 사용하세요.
Google AI Overviews에 나오려면 llms.txt가 필요한가요?
아닙니다. Google은 AI Overviews나 AI Mode에 나타나기 위해 AI용 텍스트 파일이나 특별한 마크업이 필요하지 않다고 밝힙니다. 페이지가 색인되어 있고 스니펫을 표시할 수 있어야 합니다.
llms.txt를 하위 폴더에 둘 수 있나요?
제안의 현재 버전은 /docs/llms.txt처럼 하위 경로에 파일을 두고 그 경로 아래의 페이지를 다루는 것을 허용합니다. 대부분의 사이트에는 루트에 파일 하나면 충분합니다.