Berapa banyak laman menerbitkan llms.txt? Kami menyemak 10,000 domain
Daripada 10,000 domain paling popular, 12.4% menerbitkan llms.txt (1,240), dan 16.7% daripada yang halaman utamanya menjawab dengan HTML. Laman yang lebih besar lebih kerap menerbitkannya. Laman yang menerbitkannya menyekat perangkak carian AI dalam 1.4% kes, berbanding 15.0% bagi laman yang tidak. Ini hanya mengira penerbitan: ia tidak menunjukkan sama ada mana-mana pembantu AI membaca fail itu.
llms.txt ialah salah satu fail yang paling banyak dibincangkan dalam carian AI, dan salah satu yang paling kurang diukur. Kami sudah membaca robots.txt 10,000 domain teratas, dan dalam lintasan yang sama kami meminta /llms.txt daripada setiap satu. Inilah hasilnya.
Dalam halaman ini
Bagaimana kami menyemak?
Kami mengambil 10,000 domain teratas senarai Tranco (ID senarai JZWZY) dan meminta /llms.txt sekali daripada setiap satu pada 21 November 2026, sebagai ejen pengguna AISeeWhy sendiri, selepas membaca halaman utama dan mengikut ubah halanya ke hos utama.
Sesebuah domain dikira menerbitkan llms.txt apabila /llms.txt itu sendiri menjawab dengan 200, badan teks yang tidak kosong dan bukan halaman HTML, serta tiada ubah hala ke halaman lain seperti log masuk atau halaman utama. Kami tidak menyemak format fail dalam larian ini.
Apa yang kami temui?
- 1,240 daripada 10,000 domain (12.4%) menerbitkan
llms.txt. - Senarai ini merangkumi CDN dan hos API yang tidak melayani sebarang laman web. Antara 7,367 domain yang halaman utamanya menjawab dengan HTML, 1,233 (16.7%) menerbitkannya.
- Hampir kesemuanya turut menyediakan robots.txt: 1,229 daripada 1,240.
Adakah laman yang lebih besar lebih kerap menerbitkannya?
Ya, dengan perbezaan yang jelas. Kami membahagikan laman web (domain yang halaman utamanya menjawab dengan HTML) mengikut kedudukan Tranco:
- Kedudukan 1 hingga 1,000: 22.6% menerbitkan llms.txt (149 daripada 658 laman web).
- Kedudukan 1,001 hingga 3,000: 18.2% (264 daripada 1,449).
- Kedudukan 3,001 hingga 10,000: 15.6% (820 daripada 5,260).
Siapa yang menerbitkannya?
Antara 6,192 domain yang menyediakan robots.txt, yang menerbitkan llms.txt kelihatan berbeza daripada yang lain:
- Mereka menyekat sekurang-kurangnya satu perangkak latihan AI pada 11.8% masa, berbanding 26.0% bagi domain tanpa llms.txt.
- Mereka menyekat sekurang-kurangnya satu perangkak carian atau pengguna AI pada 1.4% masa, berbanding 15.0%.
- Mereka menggunakan baris
Content-Signalpada 12.9% masa, berbanding 4.9%.
Dengan kata lain, laman yang bersusah payah menerbitkan llms.txt kebanyakannya ialah laman yang memang sudah membenarkan perangkak AI masuk.
Apa yang tidak ditunjukkan oleh data ini?
Ia menunjukkan hubungan, bukan sebab. Laman yang serius tentang keterlihatan AI mungkin menerbitkan llms.txt dan juga mengekalkan robots.txt yang terbuka; itu tidak bermakna fail itu yang membuat perbezaan. Kiraan ini juga hanya mengukur penerbitan. Ia tidak menunjukkan sama ada mana-mana pembantu AI membaca fail itu, dan perangkak carian AI utama tidak menyatakan bahawa mereka menggunakannya.
Angka ini menggambarkan peraturan halaman utama dan fail pada satu alamat pada satu hari, bagi domain paling popular. Laman yang lebih kecil mungkin kelihatan berbeza.
Patutkah anda menerbitkannya?
Ia murah dan tidak berbahaya: ringkasan Markdown pendek tentang laman anda dan senarai halaman anda yang paling berguna. Pastikan ia tepat dan pautannya berfungsi. Jangan anggap ia pengganti kepada membenarkan perangkak masuk: llms.txt pada laman yang tembok apinya menolak perangkak, atau robots.txt-nya melarangnya, tidak membantu sesiapa.
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Penyemak dan pengesah llms.txt
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Soalan lazim
Berapa peratus laman web yang mempunyai llms.txt?
Antara 10,000 domain paling popular yang kami semak, 12.4% menerbitkannya. Antara domain yang halaman utamanya menjawab dengan HTML, bahagiannya ialah 16.7%, dan lebih tinggi bagi laman terbesar: 22.6% dalam 1,000 teratas.
Adakah laman dengan llms.txt lebih kerap membenarkan perangkak AI?
Dalam data kami, ya: mereka menyekat perangkak carian dan pengguna AI dalam 1.4% kes berbanding 15.0% bagi laman tanpanya. Ini ialah korelasi. Ia tidak menunjukkan bahawa fail itu mengubah cara perangkak melayan sesebuah laman.
Adakah llms.txt membantu saya dipetik oleh pembantu AI?
Data kami tidak dapat menjawabnya. Ia mengira laman mana yang menerbitkan fail itu, bukan sama ada pembantu menggunakannya, dan perangkak carian AI utama tidak menyatakan bahawa mereka membacanya. Halaman yang boleh dirangkak dan akses terbuka lebih penting.
Bagaimana anda tahu sama ada sesebuah laman mempunyai llms.txt yang sebenar?
Minta /llms.txt dan semak bahawa ia menjawab dengan 200 pada alamat itu, dengan badan teks yang bukan halaman HTML. Ubah hala ke halaman utama atau halaman log masuk bukanlah llms.txt.
Sumber
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers