Apakah llms.txt, dan adakah berbaloi menambahnya?
llms.txt ialah fail Markdown yang dicadangkan di /llms.txt yang memberi alat AI ringkasan pendek laman anda dan senarai pautan ke halamannya yang paling berguna. Ia cadangan komuniti, bukan standard, dan crawler carian AI utama tidak menyatakan mereka menggunakannya. Menambahnya murah, tetapi ia tidak menggantikan HTML yang boleh dijelajah.
llms.txt mendapat banyak perhatian, sering digambarkan sebagai robots.txt untuk AI. Ia sebenarnya berbeza: robots.txt menyatakan apa yang boleh diambil crawler, manakala llms.txt ialah panduan bacaan yang menunjukkan kepada alat AI kandungan yang wajar dibaca. Berikut ialah isi cadangan itu, apa yang diketahui tentang penggunaannya, dan cara menulisnya.
Dalam halaman ini
Dari mana asal llms.txt?
Jeremy Howard mencadangkan fail /llms.txt pada September 2024, dan cadangan itu diselenggara di llmstxt.org. Matlamatnya ialah menyeragamkan satu fail yang membantu model bahasa dan ejen menggunakan sesebuah laman web semasa inferens, contohnya apabila pembantu pengekodan memerlukan dokumentasi sesebuah pustaka, bukannya untuk latihan.
Idea ini menjawab masalah yang sebenar. Halaman web membawa navigasi, skrip, sepanduk dan reka letak. Fail Markdown yang ringkas dan dipilih dengan pautan ke versi bersih halaman utama lebih mudah diolah model dalam tetingkap konteks yang terhad.
Apakah yang terkandung dalam fail llms.txt?
Fail ini ialah Markdown dengan susunan tetap. Hanya elemen pertama yang wajib:
- Satu H1 dengan nama laman atau projek (wajib).
- Blockquote dengan ringkasan pendek tentang laman itu.
- Perenggan atau senarai pilihan dengan lebih banyak butiran, tanpa tajuk.
- Bahagian H2, masing-masing dengan senarai pautan Markdown dalam bentuk
[name](url), boleh diikuti tanda titik bertindih dan nota. - Bahagian pilihan bernama
Optionaluntuk pautan sekunder yang boleh dilangkau oleh alat apabila ia memerlukan konteks yang lebih sedikit.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
Cadangan itu juga mengesyorkan menyediakan versi Markdown bagi halaman pada URL yang sama dengan .md ditambah, contohnya page.html.md, supaya alat boleh mengambil teks yang bersih.
Siapa yang sebenarnya membaca llms.txt hari ini?
Di sinilah perlu berhati-hati. Laman llmstxt.org menyatakan fail ini paling banyak digunakan untuk dokumentasi perisian, yang diikuti oleh ejen pengekodan. OpenAI, Anthropic, Google dan Perplexity tidak menyenaraikan llms.txt antara isyarat yang digunakan crawler carian mereka dalam dokumentasi crawler yang kami semak.
Google lebih jelas lagi untuk ciri Search miliknya. Panduannya tentang AI Overviews dan AI Mode menyatakan anda tidak perlu mencipta fail yang boleh dibaca mesin, fail teks AI atau markup baharu untuk muncul di dalamnya. Bagi Google Search, llms.txt tidak mempunyai peranan yang dinyatakan.
Jadi jawapan yang jujur ialah: sesetengah alat AI, kebanyakannya pembantu pengekodan dan ejen yang ditujukan ke sesebuah laman, mungkin membacanya. Crawler yang menentukan sama ada carian AI memetik halaman anda bekerja daripada HTML anda.
Anda boleh melihat sendiri sama ada ada yang membaca fail anda. Cari permintaan ke /llms.txt dalam log pelayan atau CDN anda dan lihat user agent-nya. Jika tiada permintaan muncul dalam beberapa minggu, itu lebih menjelaskan nilainya untuk laman anda berbanding sebarang dakwaan umum.
Patutkah saya menambahnya juga?
Bagi kebanyakan laman, ia tambahan berkos rendah dengan kepastian rendah. Ia mengambil masa beberapa minit, tidak menjejaskan keterlihatan carian anda dan mungkin membantu ejen yang mencarinya. Ia paling berguna untuk dokumentasi, alat pembangun dan produk yang mempunyai banyak bahan rujukan.
Apa yang tidak dapat dilakukannya ialah membetulkan masalah akses. Jika firewall menyekat crawler AI, robots.txt anda melarang mereka atau kandungan anda hanya muncul selepas JavaScript berjalan, llms.txt tidak mengubah apa-apa. Betulkan perkara itu dahulu.
Bagaimana menulis llms.txt yang baik?
- Letakkan di
https://yourdomain.com/llms.txtdan hidangkan sebagai teks biasa dengan status 200, bukan halaman HTML. - Tulis ringkasan seperti anda menerangkan laman itu kepada rakan sekerja baharu dalam dua ayat: apa itu, untuk siapa.
- Senaraikan halaman yang menjawab soalan sebenar: produk, harga, dokumentasi, dasar. Langkau halaman tag dan arkib.
- Gunakan URL mutlak dan pastikan senarai cukup pendek untuk kekal berguna; beberapa puluh pautan sudah memadai untuk kebanyakan laman.
- Pastikan ia terkini. Fail yang memaut ke halaman yang telah dibuang lebih buruk daripada tiada fail.
- Jangan gunakannya untuk menyatakan kebenaran. Peraturan akses terletak dalam robots.txt.
Bagaimana AISeeWhy menangani llms.txt?
AISeeWhy menyemak sama ada laman anda mempunyai llms.txt dan sama ada halaman yang diaudit disenaraikan di dalamnya. Oleh kerana crawler AI jarang membacanya hari ini, fail yang tiada menjadi penemuan P3, keutamaan terendah, dan laporan menyertakan draf yang dibina daripada tajuk halaman, penerangan dan sitemap anda yang boleh anda sunting dan terbitkan.
Soalan lazim
Adakah llms.txt standard rasmi?
Tidak. Ia cadangan komuniti yang diterbitkan di llmstxt.org. Ia bukan standard IETF atau W3C, dan tiada vendor AI yang terikat untuk membacanya.
Adakah llms.txt menyekat latihan AI?
Tidak. Ia senarai pautan, bukan set kebenaran. Untuk menolak latihan, gunakan token latihan dalam robots.txt, seperti GPTBot, ClaudeBot atau Google-Extended.
Adakah saya memerlukan llms.txt untuk muncul dalam Google AI Overviews?
Tidak. Google menyatakan anda tidak memerlukan fail teks AI atau markup khas untuk muncul dalam AI Overviews atau AI Mode. Halaman mesti diindeks dan layak untuk memaparkan snippet.
Bolehkah llms.txt berada dalam subfolder?
Versi cadangan semasa membenarkan fail pada subpath, seperti /docs/llms.txt, yang meliputi halaman di bawah laluan itu. Kebanyakan laman hanya memerlukan satu fail pada akar.
Sumber
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers