Berapa banyak laman menerbitkan llms.txt? Kami menyemak 10,000 domain

Diterbitkan

Jawapan ringkas

Daripada 10,000 domain paling popular, 12.4% menerbitkan llms.txt (1,240), dan 16.7% daripada yang halaman utamanya menjawab dengan HTML. Laman yang lebih besar lebih kerap menerbitkannya. Laman yang menerbitkannya menyekat perangkak carian AI dalam 1.4% kes, berbanding 15.0% bagi laman yang tidak. Ini hanya mengira penerbitan: ia tidak menunjukkan sama ada mana-mana pembantu AI membaca fail itu.

llms.txt ialah salah satu fail yang paling banyak dibincangkan dalam carian AI, dan salah satu yang paling kurang diukur. Kami sudah membaca robots.txt 10,000 domain teratas, dan dalam lintasan yang sama kami meminta /llms.txt daripada setiap satu. Inilah hasilnya.

Dalam halaman ini
  1. Bagaimana kami menyemak?
  2. Apa yang kami temui?
  3. Adakah laman yang lebih besar lebih kerap menerbitkannya?
  4. Siapa yang menerbitkannya?
  5. Apa yang tidak ditunjukkan oleh data ini?
  6. Patutkah anda menerbitkannya?

Bagaimana kami menyemak?

Kami mengambil 10,000 domain teratas senarai Tranco (ID senarai JZWZY) dan meminta /llms.txt sekali daripada setiap satu pada 21 November 2026, sebagai ejen pengguna AISeeWhy sendiri, selepas membaca halaman utama dan mengikut ubah halanya ke hos utama.

Sesebuah domain dikira menerbitkan llms.txt apabila /llms.txt itu sendiri menjawab dengan 200, badan teks yang tidak kosong dan bukan halaman HTML, serta tiada ubah hala ke halaman lain seperti log masuk atau halaman utama. Kami tidak menyemak format fail dalam larian ini.

Apa yang kami temui?

Adakah laman yang lebih besar lebih kerap menerbitkannya?

Ya, dengan perbezaan yang jelas. Kami membahagikan laman web (domain yang halaman utamanya menjawab dengan HTML) mengikut kedudukan Tranco:

Siapa yang menerbitkannya?

Antara 6,192 domain yang menyediakan robots.txt, yang menerbitkan llms.txt kelihatan berbeza daripada yang lain:

Dengan kata lain, laman yang bersusah payah menerbitkan llms.txt kebanyakannya ialah laman yang memang sudah membenarkan perangkak AI masuk.

Apa yang tidak ditunjukkan oleh data ini?

Ia menunjukkan hubungan, bukan sebab. Laman yang serius tentang keterlihatan AI mungkin menerbitkan llms.txt dan juga mengekalkan robots.txt yang terbuka; itu tidak bermakna fail itu yang membuat perbezaan. Kiraan ini juga hanya mengukur penerbitan. Ia tidak menunjukkan sama ada mana-mana pembantu AI membaca fail itu, dan perangkak carian AI utama tidak menyatakan bahawa mereka menggunakannya.

Angka ini menggambarkan peraturan halaman utama dan fail pada satu alamat pada satu hari, bagi domain paling popular. Laman yang lebih kecil mungkin kelihatan berbeza.

Patutkah anda menerbitkannya?

Ia murah dan tidak berbahaya: ringkasan Markdown pendek tentang laman anda dan senarai halaman anda yang paling berguna. Pastikan ia tepat dan pautannya berfungsi. Jangan anggap ia pengganti kepada membenarkan perangkak masuk: llms.txt pada laman yang tembok apinya menolak perangkak, atau robots.txt-nya melarangnya, tidak membantu sesiapa.

Alat percuma

Langkah seterusnya

Soalan lazim

Berapa peratus laman web yang mempunyai llms.txt?

Antara 10,000 domain paling popular yang kami semak, 12.4% menerbitkannya. Antara domain yang halaman utamanya menjawab dengan HTML, bahagiannya ialah 16.7%, dan lebih tinggi bagi laman terbesar: 22.6% dalam 1,000 teratas.

Adakah laman dengan llms.txt lebih kerap membenarkan perangkak AI?

Dalam data kami, ya: mereka menyekat perangkak carian dan pengguna AI dalam 1.4% kes berbanding 15.0% bagi laman tanpanya. Ini ialah korelasi. Ia tidak menunjukkan bahawa fail itu mengubah cara perangkak melayan sesebuah laman.

Adakah llms.txt membantu saya dipetik oleh pembantu AI?

Data kami tidak dapat menjawabnya. Ia mengira laman mana yang menerbitkan fail itu, bukan sama ada pembantu menggunakannya, dan perangkak carian AI utama tidak menyatakan bahawa mereka membacanya. Halaman yang boleh dirangkak dan akses terbuka lebih penting.

Bagaimana anda tahu sama ada sesebuah laman mempunyai llms.txt yang sebenar?

Minta /llms.txt dan semak bahawa ia menjawab dengan 200 pada alamat itu, dengan badan teks yang bukan halaman HTML. Ubah hala ke halaman utama atau halaman log masuk bukanlah llms.txt.

Sumber

Artikel lain