llms.txt nima va uni qoʻshishga arziydimi?
llms.txt — /llms.txt manzilidagi taklif qilingan Markdown fayli boʻlib, u AI vositalariga saytingiz haqida qisqa maʼlumot va eng foydali sahifalariga havolalar roʻyxatini beradi. Bu standart emas, hamjamiyat taklifi va yirik AI qidiruv kraulerlari undan foydalanishini aytmaydi. Uni qoʻshish arzon, lekin u kraul qilinadigan HTMLʼning oʻrnini bosmaydi.
llms.txt koʻp eʼtibor tortadi va koʻpincha AI uchun robots.txt sifatida taqdim etiladi. Aslida bu boshqa narsa: robots.txt kraulerlar nimani yuklashi mumkinligini bildiradi, llms.txt esa AI vositalarini oʻqishga arziydigan kontentga yoʻnaltiradigan oʻqish qoʻllanmasi. Quyida taklifda nima deyilgani, undan foydalanish haqida nima maʼlumligi va uni qanday yozish kerakligi.
Ushbu sahifada
llms.txt qayerdan paydo boʻlgan?
Jeremy Howard /llms.txt faylini 2024-yil sentabrida taklif qilgan va taklif llmstxt.org saytida yuritiladi. Uning maqsadi — til modellari va agentlarga veb-saytdan oʻqitish uchun emas, inference vaqtida foydalanishga yordam beradigan bitta faylni standartlashtirish, masalan kod yordamchisiga kutubxona hujjatlari kerak boʻlganda.
Bu gʻoya haqiqiy muammoga javob beradi. Veb-sahifalarda navigatsiya, skriptlar, bannerlar va maket boʻladi. Asosiy sahifalarning toza versiyalariga havolalar bilan qisqa, saralangan Markdown fayli bilan model cheklangan kontekst oynasida ishlashi osonroq.
llms.txt fayliga nima yoziladi?
Fayl qatʼiy tartibdagi Markdown. Faqat birinchi element majburiy:
- Sayt yoki loyiha nomi bilan H1 (majburiy).
- Sayt nima ekanini qisqa bayon qiladigan iqtibos bloki (blockquote).
- Sarlavhalarsiz batafsil maʼlumot beradigan ixtiyoriy paragraflar yoki roʻyxatlar.
- H2 boʻlimlari, har birida
[name](url)koʻrinishidagi Markdown havolalar roʻyxati, ixtiyoriy ravishda ikki nuqta va izoh bilan. - Vositaga kamroq kontekst kerak boʻlganda tashlab ketishi mumkin boʻlgan ikkinchi darajali havolalar uchun
Optionalnomli ixtiyoriy boʻlim.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Taklif shuningdek, vositalar toza matnni yuklay olishi uchun sahifalarning Markdown versiyalarini oʻsha URLʼga .md qoʻshib, masalan page.html.md koʻrinishida taqdim etishni tavsiya qiladi.
Bugun llms.txt ni aslida kim oʻqiydi?
Aynan shu yerda ehtiyot boʻlishga arziydi. llmstxt.org saytida aytilishicha, fayllar eng koʻp dasturiy taʼminot hujjatlari uchun ishlatiladi va kod agentlari ularga amal qiladi. OpenAI, Anthropic, Google va Perplexity biz koʻrib chiqqan kraulerlar hujjatlarida llms.txt ni qidiruv kraulerlari foydalanadigan signallar qatorida keltirmaydi.
Google oʻzining Search funksiyalari uchun bundan ham uzoqroqqa boradi. Uning AI Overviews va AI Mode boʻyicha tavsiyalarida ularda chiqish uchun yangi mashina oʻqiydigan fayllar, AI matn fayllari yoki belgilash yaratish shart emasligi aytilgan. Google Search uchun llms.txt ning eʼlon qilingan roli yoʻq.
Demak, halol javob shunday: baʼzi AI vositalari, asosan saytga yoʻnaltirilgan kod yordamchilari va agentlar uni oʻqishi mumkin. AI qidiruvi sahifangizga iqtibos keltirishini hal qiladigan kraulerlar esa HTMLʼingiz bilan ishlaydi.
Faylingizni biror narsa oʻqiyotganini oʻzingiz koʻrishingiz mumkin. Server yoki CDN loglaringizda /llms.txt ga soʻrovlarni qidiring va user agentlarga qarang. Agar bir necha hafta davomida soʻrovlar boʻlmasa, bu uning saytingiz uchun qiymati haqida har qanday umumiy daʼvodan koʻra koʻproq narsani aytadi.
Baribir uni qoʻshishim kerakmi?
Koʻpchilik saytlar uchun bu kam xarajatli, lekin natijasi noaniq qoʻshimcha. Bu bir necha daqiqa oladi, qidiruvdagi koʻrinishingizga zarar yetkaza olmaydi va uni qidiradigan agentlarga yordam berishi mumkin. U hujjatlar, dasturchilar uchun vositalar va maʼlumotnoma materiallari koʻp mahsulotlar uchun eng foydali.
U qila olmaydigan narsa — kirish muammolarini tuzatish. Agar firewall AI kraulerlarini bloklasa, robots.txt ularni taqiqlasa yoki kontentingiz faqat JavaScript ishga tushgandan keyin paydo boʻlsa, llms.txt hech narsani oʻzgartirmaydi. Avval ularni tuzating.
Yaxshi llms.txt ni qanday yozaman?
- Uni
https://yourdomain.com/llms.txtmanziliga joylashtiring va HTML sahifa sifatida emas, 200 statusi bilan oddiy matn sifatida bering. - Qisqa bayonni saytni yangi hamkasbga ikki gapda tushuntirgandek yozing: u nima va kim uchun.
- Haqiqiy savollarga javob beradigan sahifalarni roʻyxatlang: mahsulot, narxlar, hujjatlar, qoidalar. Teg sahifalari va arxivlarni tashlab keting.
- Absolyut URLʼlardan foydalaning va roʻyxatni foydali boʻlib qolishi uchun qisqa saqlang; koʻpchilik saytlar uchun bir necha oʻnlab havola yetarli.
- Uni dolzarb saqlang. Oʻchirilgan sahifalarga havola beradigan fayl umuman yoʻqligidan ham yomonroq.
- Undan ruxsatlarni bildirish uchun foydalanmang. Kirish qoidalari robots.txt ga tegishli.
AISeeWhy llms.txt ga qanday yondashadi?
AISeeWhy saytingizda llms.txt borligini va audit qilingan sahifa unda roʻyxatga kiritilganini tekshiradi. Bugun AI kraulerlari uni kamdan-kam oʻqigani uchun faylning yoʻqligi eng past ustuvorlikdagi P3 topilmasi hisoblanadi va hisobotda sahifa sarlavhasi, tavsifi va sitemap asosida tuzilgan, tahrirlab eʼlon qilishingiz mumkin boʻlgan qoralama beriladi.
Bu muammo uchun tuzatishlar
- Agentlarni aniqlash faylini oʻqib boʻlmaydi
- Agentlar uchun Markdown versiyasi ishlamayapti
- Vary: Accept boʻlmagan Markdown javobi
- AI agentlari uchun Markdown versiyasi yoʻq
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- llms.txt tekshiruvi va validatori
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
llms.txt rasmiy standartmi?
Yoʻq. Bu llmstxt.org saytida eʼlon qilingan hamjamiyat taklifi. U IETF yoki W3C standarti emas va hech bir AI ishlab chiquvchisi uni oʻqishga majbur emas.
llms.txt AI oʻqitishni bloklaydimi?
Yoʻq. Bu ruxsatlar toʻplami emas, havolalar roʻyxati. Oʻqitishdan voz kechish uchun robots.txt da GPTBot, ClaudeBot yoki Google-Extended kabi oʻqitish tokenlaridan foydalaning.
Google AI Overviewsʼda chiqish uchun llms.txt kerakmi?
Yoʻq. Google AI Overviews yoki AI Modeʼda chiqish uchun AI matn fayllari yoki maxsus belgilash kerak emasligini aytadi. Sahifa indekslangan va snippet koʻrsatishi mumkin boʻlishi kerak.
llms.txt quyi papkada joylashishi mumkinmi?
Taklifning joriy versiyasi /docs/llms.txt kabi quyi yoʻldagi faylga ruxsat beradi, u oʻsha yoʻl ostidagi sahifalarni qamraydi. Koʻpchilik saytlarga ildizdagi bitta fayl kifoya.
Manbalar
- llmstxt.org: /llms.txt fayli
- Google Search Central: AI funksiyalari va veb-saytingiz
- OpenAI: OpenAI kraulerlari haqida umumiy maʼlumot