llms-full.txtとは何か、llms.txtと並べて公開すべきか
llms-full.txtは、サイトのドキュメントの全文を、通常はMarkdownでまとめた1つのテキストファイルで、短い/llms.txtのインデックスと並べて公開されます。llmstxt.orgのllms.txtの提案には含まれておらず、ドキュメントサイトが採用した慣習です。エージェントがまとめて読み込む開発者向けドキュメントを運営しているなら公開しましょう。ほとんどのビジネスサイトでは、よいllms.txtと整ったページで十分です。
llms.txtとは何かを説明した記事では、インデックスファイル自体の形式、由来、読む人について取り上げました。この記事では、その大きな兄弟分を扱います。ドキュメントサイトでllms-full.txtを見かけた、あるいはチェッカーにそれがあるかを聞かれた場合のために、このファイルが何か、提案に書かれていることと書かれていないこと、手間をかける価値があるかを説明します。
このページの内容
llms-full.txtはllms.txtの仕様の一部?
違います。llmstxt.orgの提案は現在バージョン2(2026年8月10日更新)で、llms.txtという名前のファイルだけを定義しています。サイトのルートか任意のパスに置き、ファイルはそのパスより下のページを対象にします。また、個々のページのMarkdown版も提案しており、ページのURLに.mdを付けたもの(page.html.md)か、拡張子を置き換えたもの(page.md)、ファイル名のないURLにはindex.html.mdかindex.mdとします。
すべてのコンテンツを1つにまとめたファイルは、仕様のどこにも出てきません。バージョン1では、llms.txtを1つのコンテキストファイルに展開するツールllms_txt2ctxが説明されていました。バージョン2ではそのツールを提案から外し、代わりに想定する使い方を示しています。エージェントはllms.txtを読むか検索し、必要なリンクをたどる、というものです。提案自身の例であるFastHTMLのドキュメントは、今もllms-ctx-full.txtという名前の展開済みファイルを配信しています。
つまりllms-full.txtは名前の慣習です。「すべてのページを順に並べたもの」という以上に、合意された形式はありません。
llms-full.txtは、llms.txtや.mdページとどう違う?
提案のバージョン2では、エージェントがページのMarkdown版と、それを対象にするllms.txtを見つけるための方法が加わりました。HTTPヘッダーかページのHTMLで、標準のリンク関係を使います。
llms.txtはインデックスです。タイトル、概要、リンクのリストからなります。提案では、モデルのコンテキストに収まる程度に小さく保つべきだとしています。.mdページは、個々のページを整えたコピーです。提案の一部で、エージェントは必要なものだけを取得します。llms-full.txtは、すべてのページを1つのファイルにつなげたものです。1回のリクエストでエージェントはすべてを手に入れますが、その代わりサイズが大きくなります。
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txtに相当するリンク関係はありません。公開しているサイトは、通常llms.txtからリンクしています。
llms-full.txtを公開しているのは?
主に開発者向けのドキュメントサイトです。2026年11月17日に確認したところ、次のファイルが公開されていました。
- Cloudflare:
developers.cloudflare.com/llms-full.txt、約71 MB。ルートのllms.txtは17 KBで、製品ごとの個別のllms.txtにリンクしています。 - Anthropic:
platform.claude.com/llms-full.txt、約53 MB。102 KBのllms.txtの最後にリンクがあります。 - OpenAI:
developers.openai.com/llms-full.txt、約9.7 MB。ファイル内では1ファイルのMarkdownエクスポートと説明されています。llms.txtは6 KBです。 - Perplexity:
docs.perplexity.ai/llms-full.txt、約4 MB。各ページのURLを示すSource:の行があります。llms.txtは46 KBです。
4つとも、開発者やコーディングエージェントが読むAPIと製品のドキュメントです。2026年11月の、最も人気のある1,000ドメインを対象にした私たちの調査ではllms-full.txtは数えていません。llms.txtを公開していたのは132ドメインで、そのうち117がllmstxt.orgの形式に従っていました。
AIクローラーはllms.txtやllms-full.txtを読む?
私たちが見つけられたドキュメントによれば、読みません。OpenAI、Anthropic、Perplexityのクローラーのページは、ボットとrobots.txtのトークンを説明していますが、それらのクローラーがほかのサイトのllms.txtやllms-full.txtを読むとは、どれも述べていません。Googleは、AI OverviewsやAI Modeに表示されるために、新しい機械可読ファイル、AI向けのテキストファイル、マークアップを作る必要はないとしています。
自社のドキュメント用にこれらのファイルを公開することは、あなたのファイルを読むこととは別です。llmstxt.orgによると、これらのファイルが最もよく使われているのはソフトウェアのドキュメントで、コーディングエージェントがそれに従っています。ChromeのLighthouseにはllms.txtの監査がありますが、指摘するのは/llms.txtの取得時のサーバーエラーだけです。ファイルがない場合は「該当なし」として扱われ、llms-full.txtには触れていません。
自分のサイトについて根拠がほしい場合は、サーバーのログで/llms-full.txtへのリクエストを検索し、ユーザーエージェントを確認してください。
llms-full.txtはどれくらい大きくてもいい?
ファイルを定義する仕様がないため、上限も文書化されていません。現実的な上限は読み手側にあります。llmstxt.orgは、コンテキストウィンドウは以前より大きくなったものの、ほとんどのウェブサイトの全体を収めるにはまだ小さすぎると述べています。数MBのファイルは一度に読み切れないため、エージェントは検索するか分割して読む必要があり、それはllms.txtのインデックスと.mdページですでにできることです。
それでも公開する場合は、次の点に注意してください。
- 大きなドキュメントは、巨大なファイルを1つ出すのではなく、Cloudflareが製品ごとのllms.txtで行っているように、製品やセクションごとに分ける。
- 各ページの上に元のURLを置き、ファイルから組み立てた回答でも正しいページを示せるようにする。
- 公開してよいコンテンツだけを含める。ファイルは丸ごと簡単にコピーでき、robots.txtのルールは学習用クローラーのブロックも含め、ほかのURLと同じように適用されます。
- デプロイのたびに作り直す。古い全文コピーは、ないよりも悪いものです。古くなった事実を、1か所に便利にまとめて繰り返すことになるからです。
llms-full.txtを作成してチェックするには?
有効なllms.txtと、ページのMarkdown版から始めれば、llms-full.txtはビルドの1ステップになります。次のスクリプトはllms.txtを読み、リンクされたすべての.mdページを取得して、それぞれに出典の行を付けてつなげます。
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") それから結果を確認します。ファイルはHTMLページではなく、text/plainかtext/markdownとしてステータス200で返る必要があり、ページ数はllms.txtのリンクと一致するはずです。無料のAISeeWhy llms.txtジェネレーターはインデックスの作成を助け、無料のllms.txtバリデーターは、タイトル、概要、セクション、リンクについてllmstxt.orgの形式に沿っているかを、問題ごとに行番号付きで確認します。llms-full.txtには検証の基準となる形式がないため、上で挙げたチェックが役立ちます。
llms-full.txtを優先すべき?
ほとんどのサイトでは、優先する必要はありません。どちらのファイルも、読み手がページに到達できて初めて役立ちます。無料のAISeeWhyチェックは、ブラウザと並べて、16種類のAIクローラーと検索クローラーとしてページを取得し、robots.txt、ファイアウォール、JavaScriptがそれらを止めていないかを示します。AIでの見え方を左右するのは、どちらのテキストファイルよりもそちらです。
この問題の修正方法
次のステップ
よくある質問
llms-full.txtはllms.txtの提案で必須?
必須ではありません。提案が定義しているのはllms.txtとページのMarkdown版です。llms-full.txtは、一部のドキュメントサイトが従っている慣習です。
llm.txtとllms.txtの違いは?
提案のファイル名は、sの付いたllms.txtです。/llm.txtにあるファイルは提案に従っておらず、llms.txtを探すツールには見つけてもらえません。
llms-full.txtはどこに置くべき?
仕様には定めがありません。上の例では、ドキュメントサイトのルートにllms.txtと並べて置き、読み手が見つけられるようllms.txtからリンクしています。
llms-full.txtはGoogle AI Overviewsに役立つ?
Googleによると、AI OverviewsやAI Modeに表示されるために、新しい機械可読ファイルやAI向けのテキストファイルは必要ありません。ページはインデックスに登録され、スニペットを表示できる状態である必要があります。
llms-full.txtをllms.txtチェッカーで確認できる?
一部だけです。llms.txtチェッカーはインデックスの形式を検証しますが、全文を収めたファイルはその形式に従っていません。llms-full.txtについては、ステータスコード、コンテンツタイプ、サイズ、現在のページと一致しているかを確認してください。
参考資料
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy:AIクローラーアクセスレポート、2026-11