llms.txtを公開しているサイトはどのくらいあるか。1万ドメインを調査
人気上位1万ドメインのうち、llms.txtを公開しているのは12.4%(1,240件)で、ホームページがHTMLで応答するドメインに限ると16.7%でした。規模の大きいサイトほど公開率が高くなります。llms.txtを公開しているサイトがAI検索クローラーをブロックしている割合は1.4%で、公開していないサイトでは15.0%です。これは公開の有無だけを数えたものであり、AIアシスタントがこのファイルを読んでいるかどうかは分かりません。
llms.txtは、AI検索で最も話題になっているファイルの一つですが、実測された例は最も少ないものの一つです。私たちはすでに上位1万ドメインのrobots.txtを読み込んでおり、同じ処理の中で各ドメインに/llms.txtも問い合わせました。その結果をお伝えします。
どのように調べましたか?
Trancoリスト(リストID JZWZY)の上位1万ドメインを対象に、2026年11月21日に各ドメインへ/llms.txtを1回ずつリクエストしました。リクエストはAISeeWhy自身のユーザーエージェントで行い、ホームページを読み込んでメインホストへのリダイレクトをたどった後に実行しています。
/llms.txt自体が200で応答し、HTMLページではない空でないテキスト本文を返し、ログインページやホームページなど別のページへのリダイレクトがない場合に、そのドメインはllms.txtを公開しているとみなしました。今回の調査では、ファイルの形式は確認していません。
何が分かりましたか?
- 1万ドメインのうち1,240件(12.4%)が
llms.txtを公開していました。 - 対象にはウェブサイトを提供していないCDNやAPIホストも含まれます。ホームページがHTMLで応答した7,367ドメインに限ると、1,233件(16.7%)が公開していました。
- ほぼすべてがrobots.txtも提供しており、1,240件のうち1,229件でした。
大規模なサイトほど多く公開していますか?
はい、明確な差があります。ウェブサイト(ホームページがHTMLで応答したドメイン)をTrancoの順位で分けました。
- 1位から1,000位:22.6%がllms.txtを公開(658サイト中149サイト)。
- 1,001位から3,000位:18.2%(1,449サイト中264サイト)。
- 3,001位から10,000位:15.6%(5,260サイト中820サイト)。
どのようなサイトが公開していますか?
robots.txtを提供している6,192ドメインのうち、llms.txtを公開しているドメインは、それ以外のドメインと傾向が異なります。
- 少なくとも1つのAI学習用クローラーをブロックしている割合は11.8%で、llms.txtのないドメインでは26.0%です。
- 少なくとも1つのAI検索用またはユーザー用クローラーをブロックしている割合は1.4%で、llms.txtのないドメインでは15.0%です。
Content-Signal行を使っている割合は12.9%で、llms.txtのないドメインでは4.9%です。
つまり、llms.txtをわざわざ公開しているサイトの多くは、すでにAIクローラーを受け入れているサイトです。
このデータで分からないことは何ですか?
示されているのは関連であり、因果ではありません。AIでの可視性を重視しているサイトは、llms.txtを公開しつつrobots.txtも開放していることがありますが、それはファイルが違いを生んだという意味ではありません。また、この数は公開の有無だけを測ったものです。AIアシスタントがこのファイルを読んでいるかどうかは分かりませんし、主要なAI検索クローラーも、これを利用するとは表明していません。
この数字は、人気の高いドメインについて、ある1日の時点でのホームページのルールと1つのアドレスにあるファイルを表したものです。小規模なサイトでは傾向が異なる可能性があります。
公開すべきですか?
手間がかからず、害もありません。サイトの短いMarkdownの要約と、最も役立つページの一覧を書くだけです。内容を正確に保ち、リンクが切れないようにしてください。ただし、クローラーを受け入れることの代わりにはなりません。ファイアウォールがクローラーを拒否しているサイトや、robots.txtで禁止しているサイトにllms.txtを置いても、誰の役にも立ちません。
次のステップ
よくある質問
llms.txtを持つウェブサイトの割合はどのくらいですか?
調査した人気上位1万ドメインのうち、12.4%が公開しています。ホームページがHTMLで応答するドメインでは16.7%で、最大規模のサイトほど高く、上位1,000では22.6%でした。
llms.txtのあるサイトは、AIクローラーを許可していることが多いですか?
今回のデータではそうです。AI検索用およびユーザー用クローラーをブロックしている割合は、llms.txtのあるサイトで1.4%、ないサイトで15.0%でした。これは相関であり、このファイルがクローラーの扱いを変えることを示すものではありません。
llms.txtはAIアシスタントに引用される助けになりますか?
このデータからは判断できません。数えているのはファイルを公開しているサイトであり、アシスタントがそれを使っているかどうかではなく、主要なAI検索クローラーも読み取るとは表明していません。クロール可能なページとオープンなアクセスのほうが重要です。
サイトが本物のllms.txtを持っているかどうかは、どのように判断しますか?
/llms.txtにリクエストし、そのアドレスで200が返り、本文がHTMLページではないテキストであることを確認します。ホームページやログインページへのリダイレクトは、llms.txtではありません。
参考資料
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers