llms.txtとは？追加する価値はあるか
llms.txtは、/llms.txtに置くことが提案されているMarkdownファイルで、AIツールにサイトの短い要約と、最も役立つページへのリンク集を提供します。コミュニティによる提案であって標準ではなく、主要なAI検索クローラーが利用しているとは述べていません。追加の手間は小さいものの、クロール可能なHTMLの代わりにはなりません。
llms.txtは大きな注目を集めており、「AI版のrobots.txt」として紹介されることもよくあります。しかし両者は別のものです。robots.txtはクローラーが取得してよいものを示し、llms.txtはAIツールに読む価値のあるコンテンツを案内する読み方ガイドです。ここでは、提案の内容、利用についてわかっていること、書き方を紹介します。
このページの内容
llms.txtはどこから来たのか
/llms.txtファイルは2024年9月にJeremy Howardが提案し、提案内容はllmstxt.orgで管理されています。目的は、学習ではなく推論時に、たとえばコーディングアシスタントがライブラリのドキュメントを必要とするときなどに、言語モデルやエージェントがウェブサイトを使いやすくするためのファイルを標準化することです。
この考え方は、現実の問題に対応したものです。ウェブページにはナビゲーション、スクリプト、バナー、レイアウトが含まれています。主要なページのクリーンなバージョンへのリンクを載せた、短く厳選されたMarkdownファイルのほうが、限られたコンテキストウィンドウの中でモデルが扱いやすくなります。
llms.txtには何を書くのか
ファイルはMarkdownで、順序が決まっています。必須なのは最初の要素だけです。
- サイトまたはプロジェクトの名前を示すH1（必須）。
- サイトが何かを短く要約した引用ブロック。
- 見出しなしの、詳細を補足する任意の段落またはリスト。
- H2のセクション。それぞれ
[name](url)の形式のMarkdownリンクのリストを持ち、必要に応じてコロンと補足を続けます。 Optionalという名前の任意のセクション。ツールがコンテキストを節約したいときに省略できる、優先度の低いリンクを入れます。
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)提案ではさらに、ツールがクリーンなテキストを取得できるよう、同じURLに.mdを付けた（たとえばpage.html.md）ページのMarkdown版を用意することも勧めています。
現時点で実際にllms.txtを読んでいるのは誰か
ここは慎重に見る必要があります。llmstxt.orgのサイトによると、このファイルが最も多く使われているのはソフトウェアのドキュメントで、コーディングエージェントがたどります。OpenAI、Anthropic、Google、Perplexityは、私たちが確認したクローラーのドキュメントの中で、検索クローラーが使うシグナルとしてllms.txtを挙げていません。
Googleは、自社の検索機能についてさらに踏み込んでいます。AI OverviewsとAI Modeに関するガイダンスでは、それらに表示されるために、機械可読の新しいファイル、AI向けテキストファイル、マークアップを作成する必要はないとしています。Google検索では、llms.txtの役割は示されていません。
したがって正直な答えはこうなります。一部のAIツール、主にサイトを指定されたコーディングアシスタントやエージェントが、読むことがあります。AI検索があなたのページを引用するかどうかを決めるクローラーは、HTMLをもとに動作します。
ファイルが何かに読まれているかどうかは、自分で確かめられます。サーバーやCDNのログで/llms.txtへのリクエストを検索し、ユーザーエージェントを見てください。数週間たってもリクエストがなければ、一般的な主張よりも、自分のサイトでの価値をよく表しています。
それでも追加すべき？
ほとんどのサイトでは、手間が小さく、効果の確実性は低い追加です。数分で作れて、検索での見え方を損なうことはなく、探してくれるエージェントの助けになる可能性があります。ドキュメント、開発者向けツール、参照資料の多い製品で最も役に立ちます。
llms.txtでは、アクセスの問題は解決できません。ファイアウォールがAIクローラーをブロックしている、robots.txtで禁止している、コンテンツがJavaScriptの実行後にしか表示されないといった場合、llms.txtでは何も変わりません。まずそれらを直してください。
良いllms.txtの書き方は？
https://yourdomain.com/llms.txtに置き、HTMLページではなく、ステータス200のプレーンテキストとして配信します。- 要約は、新しい同僚にサイトを2文で説明するつもりで書きます。何であるか、誰のためのものか、です。
- 実際の疑問に答えるページを載せます。製品、料金、ドキュメント、ポリシーなどです。タグページやアーカイブは省きます。
- 絶対URLを使い、役立つ長さに収めます。ほとんどのサイトでは、数十件のリンクで十分です。
- 最新の状態に保ちます。削除したページへのリンクが残るファイルは、ないよりも悪い状態です。
- 許可の表明には使わないでください。アクセスのルールはrobots.txtに書きます。
AISeeWhyはllms.txtをどう扱うのか
AISeeWhyは、サイトにllms.txtがあるか、監査対象のページがそこに載っているかを確認します。現時点でAIクローラーがほとんど読まないため、ファイルがない場合は最も優先度の低いP3の指摘となり、レポートにはページのタイトル、説明、サイトマップから作った、編集して公開できる下書きが含まれます。
よくある質問
llms.txtは公式の標準？
いいえ。llmstxt.orgで公開されているコミュニティの提案です。IETFやW3Cの標準ではなく、どのAIベンダーにも読む義務はありません。
llms.txtでAIの学習をブロックできる？
できません。これはリンクの一覧であり、許可を示すものではありません。学習をオプトアウトするには、robots.txtでGPTBot、ClaudeBot、Google-Extendedなどの学習用トークンを使います。
Google AI Overviewsに表示されるのにllms.txtは必要？
必要ありません。GoogleはAI OverviewsやAI Modeに表示されるために、AI向けテキストファイルや特別なマークアップは不要だと述べています。ページがインデックスされ、スニペットを表示できる状態である必要があります。
llms.txtはサブフォルダに置ける？
提案の現行版では、/docs/llms.txtのようにサブパスにファイルを置き、そのパス以下のページを対象にすることができます。ほとんどのサイトに必要なのは、ルートに置く1つのファイルだけです。