Berapa situs yang memublikasikan llms.txt? Kami memeriksa 10.000 domain
Dari 10.000 domain terpopuler, 12,4% memublikasikan llms.txt (1.240), dan 16,7% dari yang beranda-nya menjawab dengan HTML. Situs yang lebih besar lebih sering memublikasikannya. Situs yang memublikasikannya memblokir crawler pencarian AI pada 1,4% kasus, dibandingkan 15,0% untuk situs yang tidak. Angka ini hanya menghitung publikasi: tidak menunjukkan apakah ada asisten AI yang membaca file tersebut.
llms.txt adalah salah satu file yang paling banyak dibahas dalam pencarian AI, dan salah satu yang paling jarang diukur. Kami sebelumnya sudah membaca robots.txt dari 10.000 domain teratas, dan dalam putaran yang sama kami meminta /llms.txt dari masing-masing domain. Inilah hasilnya.
Di halaman ini
Bagaimana kami memeriksa?
Kami mengambil 10.000 domain teratas dari daftar Tranco (ID daftar JZWZY) dan meminta /llms.txt satu kali dari masing-masing pada 21 November 2026, dengan user agent milik AISeeWhy sendiri, setelah membaca beranda dan mengikuti pengalihannya ke host utama.
Sebuah domain dihitung memublikasikan llms.txt jika /llms.txt sendiri menjawab dengan 200, isi berupa teks yang tidak kosong dan bukan halaman HTML, serta tanpa pengalihan ke halaman lain seperti halaman login atau beranda. Kami tidak memeriksa format file dalam putaran ini.
Apa yang kami temukan?
- 1.240 dari 10.000 domain (12,4%) memublikasikan
llms.txt. - Daftar ini mencakup CDN dan host API yang tidak melayani situs web. Di antara 7.367 domain yang berandanya menjawab dengan HTML, 1.233 (16,7%) memublikasikannya.
- Hampir semuanya juga menyajikan robots.txt: 1.229 dari 1.240.
Apakah situs yang lebih besar lebih sering memublikasikannya?
Ya, dengan selisih yang jelas. Kami membagi situs web (domain yang berandanya menjawab dengan HTML) berdasarkan peringkat Tranco:
- Peringkat 1 sampai 1.000: 22,6% memublikasikan llms.txt (149 dari 658 situs web).
- Peringkat 1.001 sampai 3.000: 18,2% (264 dari 1.449).
- Peringkat 3.001 sampai 10.000: 15,6% (820 dari 5.260).
Siapa yang memublikasikannya?
Di antara 6.192 domain yang menyajikan robots.txt, yang memublikasikan llms.txt tampak berbeda dari yang lain:
- Mereka memblokir setidaknya satu crawler pelatihan AI pada 11,8% kasus, dibandingkan 26,0% untuk domain tanpa llms.txt.
- Mereka memblokir setidaknya satu crawler pencarian atau pengguna AI pada 1,4% kasus, dibandingkan 15,0%.
- Mereka memakai baris
Content-Signalpada 12,9% kasus, dibandingkan 4,9%.
Dengan kata lain, situs yang repot-repot memublikasikan llms.txt sebagian besar adalah situs yang memang sudah mengizinkan crawler AI masuk.
Apa yang tidak ditunjukkan data ini?
Data ini menunjukkan hubungan, bukan sebab. Situs yang serius soal visibilitas AI mungkin memublikasikan llms.txt dan sekaligus menjaga robots.txt tetap terbuka; itu tidak berarti file tersebut yang membuat perbedaan. Hitungan ini juga hanya mengukur publikasi. Data ini tidak menunjukkan apakah ada asisten AI yang membaca file itu, dan crawler pencarian AI utama tidak menyatakan bahwa mereka memakainya.
Angka-angka ini menggambarkan aturan di beranda dan file di satu alamat pada satu hari, untuk domain yang paling populer. Situs yang lebih kecil mungkin berbeda.
Apakah Anda perlu memublikasikannya?
Biayanya murah dan tidak berbahaya: ringkasan Markdown singkat tentang situs Anda dan daftar halaman Anda yang paling berguna. Jaga agar tetap akurat dan tautannya tetap berfungsi. Jangan anggap ini pengganti membiarkan crawler masuk: llms.txt di situs yang firewall-nya menolak crawler, atau yang robots.txt-nya melarangnya, tidak membantu siapa pun.
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa dan validator llms.txt
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Pertanyaan yang sering diajukan
Berapa persen situs web yang memiliki llms.txt?
Di antara 10.000 domain terpopuler yang kami periksa, 12,4% memublikasikannya. Di antara domain yang berandanya menjawab dengan HTML, persentasenya 16,7%, dan lebih tinggi untuk situs terbesar: 22,6% di 1.000 teratas.
Apakah situs dengan llms.txt lebih sering mengizinkan crawler AI?
Dalam data kami, ya: mereka memblokir crawler pencarian dan pengguna AI pada 1,4% kasus, dibandingkan 15,0% untuk situs tanpa file itu. Ini adalah korelasi. Ini tidak menunjukkan bahwa file tersebut mengubah cara crawler memperlakukan sebuah situs.
Apakah llms.txt membantu saya dikutip oleh asisten AI?
Data kami tidak bisa menjawabnya. Data ini menghitung situs mana yang memublikasikan file itu, bukan apakah asisten memakainya, dan crawler pencarian AI utama tidak menyatakan bahwa mereka membacanya. Halaman yang bisa di-crawl dan akses terbuka lebih penting.
Bagaimana cara mengetahui apakah sebuah situs punya llms.txt yang asli?
Minta /llms.txt dan pastikan jawabannya 200 di alamat itu, dengan isi teks yang bukan halaman HTML. Pengalihan ke beranda atau halaman login bukanlah llms.txt.
Sumber
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers