llms-full.txt란 무엇이며, llms.txt 옆에 게시해야 할까?
llms-full.txt는 사이트 문서의 전체 텍스트를 보통 Markdown으로 담은 단일 텍스트 파일로, 짧은 /llms.txt 색인 옆에 게시합니다. llmstxt.org의 llms.txt 제안에 포함된 것이 아니라 문서 사이트들이 채택한 관례입니다. 에이전트가 한꺼번에 불러가는 개발자 문서를 운영한다면 게시하세요. 대부분의 비즈니스 사이트에는 잘 만든 llms.txt와 깔끔한 페이지면 충분합니다.
llms.txt란 무엇인지에 관한 글에서는 색인 파일 자체, 즉 형식과 유래, 누가 읽는지를 다룹니다. 이 글은 그 더 큰 형제에 관한 것입니다. 문서 사이트에서 llms-full.txt를 보았거나 점검 도구가 이 파일이 있는지 물었다면, 파일이 무엇인지, 제안이 무엇을 말하고 무엇을 말하지 않는지, 만들 가치가 있는지 정리했습니다.
이 글의 목차
llms-full.txt는 llms.txt 사양에 포함되나요?
아닙니다. llmstxt.org의 제안은 현재 버전 2(2026년 8월 10일 수정)이며, 사이트 루트나 임의의 경로에 두는 llms.txt라는 이름의 파일만 정의합니다. 파일은 자기 경로 아래의 페이지를 다룹니다. 또 개별 페이지의 Markdown 버전을 제안하는데, 페이지 URL에 .md를 붙이거나(page.html.md) 확장자를 바꾸며(page.md), 파일 이름이 없는 URL에는 index.html.md나 index.md를 씁니다.
모든 콘텐츠를 담은 단일 파일은 사양 어디에도 없습니다. 버전 1은 llms.txt를 하나의 컨텍스트 파일로 펼치는 도구 llms_txt2ctx를 설명했습니다. 버전 2는 이 도구를 제안에서 빼고 대신 예상되는 사용 방식을 밝힙니다. 에이전트가 llms.txt를 읽거나 검색한 뒤 필요한 링크를 따라간다는 것입니다. 제안의 예시인 FastHTML 문서는 지금도 llms-ctx-full.txt라는 펼친 파일을 제공합니다.
따라서 llms-full.txt는 이름 붙이는 관례입니다. "모든 페이지를 차례로 이어 붙인 것" 이상으로 합의된 형식은 없습니다.
llms-full.txt는 llms.txt, .md 페이지와 무엇이 다른가요?
제안 버전 2는 에이전트가 페이지의 Markdown 버전과 그 페이지를 다루는 llms.txt를 찾을 수 있도록, HTTP 헤더나 페이지 HTML에 표준 링크 관계를 쓰는 방법을 추가합니다.
llms.txt는 색인입니다. 제목, 요약, 링크 목록으로 이루어집니다. 제안은 모델의 컨텍스트에 들어갈 만큼 작게 유지해야 한다고 말합니다..md페이지는 개별 페이지의 깔끔한 사본입니다. 제안에 포함되며, 에이전트는 필요한 것만 가져갑니다.llms-full.txt는 모든 페이지를 하나의 파일로 합친 것입니다. 요청 한 번으로 에이전트가 모든 것을 얻지만, 그 대가로 크기가 큽니다.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt에 해당하는 링크 관계는 없습니다. 이 파일을 게시하는 사이트는 보통 llms.txt에서 링크합니다.
llms-full.txt는 누가 게시하나요?
주로 개발자 문서 사이트입니다. 2026년 11월 17일에 확인했을 때 다음 파일이 공개되어 있었습니다.
- Cloudflare:
developers.cloudflare.com/llms-full.txt, 약 71MB. 루트 llms.txt는 17KB이며 제품별 llms.txt로 링크합니다. - Anthropic:
platform.claude.com/llms-full.txt, 약 53MB. 102KB인 llms.txt의 끝에서 이 파일로 링크합니다. - OpenAI:
developers.openai.com/llms-full.txt, 약 9.7MB이며 파일 안에서 단일 파일 Markdown 내보내기로 설명됩니다. llms.txt는 6KB입니다. - Perplexity:
docs.perplexity.ai/llms-full.txt, 약 4MB이며 각 페이지의 URL을 알려 주는Source:줄이 있습니다. llms.txt는 46KB입니다.
네 곳 모두 개발자와 코딩 에이전트가 읽는 API 및 제품 문서입니다. 가장 인기 있는 1,000개 도메인을 대상으로 한 2026년 11월 조사에서는 llms-full.txt를 세지 않았습니다. 그중 132개가 llms.txt를 게시했고, 그중 117개가 llmstxt.org 형식을 따랐습니다.
AI 크롤러는 llms.txt나 llms-full.txt를 읽나요?
저희가 찾을 수 있었던 문서에 따르면 그렇지 않습니다. OpenAI, Anthropic, Perplexity의 크롤러 페이지는 봇과 robots.txt 토큰을 설명하지만, 그 크롤러가 다른 사이트의 llms.txt나 llms-full.txt를 읽는다고 말하는 곳은 없습니다. Google은 AI Overviews나 AI Mode에 나오기 위해 새로운 기계 판독용 파일, AI용 텍스트 파일, 마크업을 만들 필요가 없다고 밝힙니다.
자사 문서에 이런 파일을 게시하는 것과 내 파일을 읽는 것은 다른 이야기입니다. llmstxt.org는 이 파일이 코딩 에이전트가 따라가는 소프트웨어 문서에서 가장 많이 쓰인다고 말합니다. Chrome의 Lighthouse에는 llms.txt 감사 항목이 있지만, /llms.txt를 가져올 때 서버 오류가 나는 경우만 표시합니다. 파일이 없으면 해당 없음으로 처리하며, llms-full.txt는 언급하지 않습니다.
내 사이트에 대한 근거를 원한다면 서버 로그에서 /llms-full.txt 요청을 찾아 user agent를 살펴보세요.
llms-full.txt는 얼마나 커도 되나요?
이 파일을 정의하는 사양이 없으므로 문서로 정해진 제한도 없습니다. 실질적인 제한은 읽는 쪽입니다. llmstxt.org는 컨텍스트 창이 예전보다 커졌지만 대부분의 웹사이트 전체를 담기에는 여전히 작다고 지적합니다. 몇 MB짜리 파일은 한 번에 읽을 수 없으므로 에이전트가 검색하거나 나눠 읽어야 하는데, 이는 llms.txt 색인과 .md 페이지로 이미 할 수 있는 일입니다.
그래도 게시한다면 다음을 지키세요.
- 거대한 파일 하나를 내보내지 말고, Cloudflare가 제품별 llms.txt로 하듯 큰 문서는 제품이나 섹션별로 나누세요.
- 각 페이지 위에 출처 URL을 두어, 이 파일로 만든 답변도 올바른 페이지를 가리킬 수 있게 하세요.
- 공개 콘텐츠만 넣으세요. 파일은 통째로 복사하기 쉽고, 학습 크롤러 차단을 포함한 robots.txt 규칙이 다른 URL과 똑같이 적용됩니다.
- 배포할 때마다 다시 생성하세요. 오래된 전체 사본은 낡은 정보를 한곳에 편리하게 모아 반복하므로 없느니만 못합니다.
llms-full.txt는 어떻게 만들고 확인하나요?
유효한 llms.txt와 페이지별 Markdown 버전에서 시작하면 llms-full.txt는 빌드 단계 하나일 뿐입니다. 이 스크립트는 llms.txt를 읽고, 링크된 모든 .md 페이지를 가져와 각각에 출처 줄을 붙여 합칩니다.
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") 그다음 결과를 확인하세요. 파일은 HTML 페이지가 아니라 text/plain이나 text/markdown으로 상태 200을 반환해야 하고, 페이지 수가 llms.txt의 링크 수와 맞아야 합니다. 무료 AISeeWhy llms.txt 생성기는 색인 작성을 돕고, 무료 llms.txt 검증기는 llmstxt.org 형식(제목, 요약, 섹션, 링크)에 맞는지 확인하며 문제마다 줄 번호를 보여 줍니다. llms-full.txt에는 검증할 형식이 없으므로 위의 확인 사항이 쓸모 있는 점검입니다.
llms-full.txt를 우선해야 하나요?
대부분의 사이트에는 그렇지 않습니다. 두 파일 모두 독자가 내 페이지에 접근할 수 있어야 도움이 됩니다. 무료 AISeeWhy 검사는 브라우저와 나란히 16개의 AI·검색 크롤러로 페이지를 가져와 robots.txt, 방화벽, JavaScript가 이를 막는지 보여 주며, AI 가시성에는 이것이 어느 텍스트 파일보다 더 큰 영향을 줍니다.
이 문제의 해결 방법
다음 단계
자주 묻는 질문
llms.txt 제안은 llms-full.txt를 요구하나요?
아닙니다. 제안은 llms.txt와 페이지의 Markdown 버전을 정의합니다. llms-full.txt는 일부 문서 사이트가 따르는 관례입니다.
llm.txt와 llms.txt의 차이는 무엇인가요?
제안의 파일 이름은 s가 붙은 llms.txt입니다. /llm.txt에 있는 파일은 제안을 따르지 않으며, llms.txt를 찾는 도구는 이를 찾지 못합니다.
llms-full.txt는 어디에 두어야 하나요?
정한 사양은 없습니다. 위의 예시들은 문서 사이트 루트의 llms.txt 옆에 두고, 독자가 찾을 수 있도록 llms.txt에서 링크합니다.
llms-full.txt가 Google AI Overviews에 도움이 되나요?
Google은 AI Overviews나 AI Mode에 나오기 위해 새로운 기계 판독용 파일이나 AI용 텍스트 파일이 필요 없다고 밝힙니다. 페이지가 색인되어 있고 스니펫 표시 대상이면 됩니다.
llms.txt 검사기로 llms-full.txt를 확인할 수 있나요?
일부만 가능합니다. llms.txt 검사기는 색인 형식을 검증하는데, 전체 콘텐츠 파일은 이 형식을 따르지 않습니다. llms-full.txt는 상태 코드, 콘텐츠 유형, 크기, 현재 페이지와 일치하는지를 확인하세요.
참고 자료
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI 크롤러 접근 보고서, 2026-11