llms.txt nima va uni qoʻshishga arziydimi?

Eʼlon qilingan

Qisqa javob

llms.txt — /llms.txt manzilidagi taklif qilingan Markdown fayli boʻlib, u AI vositalariga saytingiz haqida qisqa maʼlumot va eng foydali sahifalariga havolalar roʻyxatini beradi. Bu standart emas, hamjamiyat taklifi va yirik AI qidiruv kraulerlari undan foydalanishini aytmaydi. Uni qoʻshish arzon, lekin u kraul qilinadigan HTMLʼning oʻrnini bosmaydi.

llms.txt koʻp eʼtibor tortadi va koʻpincha AI uchun robots.txt sifatida taqdim etiladi. Aslida bu boshqa narsa: robots.txt kraulerlar nimani yuklashi mumkinligini bildiradi, llms.txt esa AI vositalarini oʻqishga arziydigan kontentga yoʻnaltiradigan oʻqish qoʻllanmasi. Quyida taklifda nima deyilgani, undan foydalanish haqida nima maʼlumligi va uni qanday yozish kerakligi.

Ushbu sahifada
  1. llms.txt qayerdan paydo boʻlgan?
  2. llms.txt fayliga nima yoziladi?
  3. Bugun llms.txt ni aslida kim oʻqiydi?
  4. Baribir uni qoʻshishim kerakmi?
  5. Yaxshi llms.txt ni qanday yozaman?
  6. AISeeWhy llms.txt ga qanday yondashadi?

llms.txt qayerdan paydo boʻlgan?

Jeremy Howard /llms.txt faylini 2024-yil sentabrida taklif qilgan va taklif llmstxt.org saytida yuritiladi. Uning maqsadi — til modellari va agentlarga veb-saytdan oʻqitish uchun emas, inference vaqtida foydalanishga yordam beradigan bitta faylni standartlashtirish, masalan kod yordamchisiga kutubxona hujjatlari kerak boʻlganda.

Bu gʻoya haqiqiy muammoga javob beradi. Veb-sahifalarda navigatsiya, skriptlar, bannerlar va maket boʻladi. Asosiy sahifalarning toza versiyalariga havolalar bilan qisqa, saralangan Markdown fayli bilan model cheklangan kontekst oynasida ishlashi osonroq.

llms.txt fayliga nima yoziladi?

Fayl qatʼiy tartibdagi Markdown. Faqat birinchi element majburiy:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Taklif shuningdek, vositalar toza matnni yuklay olishi uchun sahifalarning Markdown versiyalarini oʻsha URLʼga .md qoʻshib, masalan page.html.md koʻrinishida taqdim etishni tavsiya qiladi.

Bugun llms.txt ni aslida kim oʻqiydi?

Aynan shu yerda ehtiyot boʻlishga arziydi. llmstxt.org saytida aytilishicha, fayllar eng koʻp dasturiy taʼminot hujjatlari uchun ishlatiladi va kod agentlari ularga amal qiladi. OpenAI, Anthropic, Google va Perplexity biz koʻrib chiqqan kraulerlar hujjatlarida llms.txt ni qidiruv kraulerlari foydalanadigan signallar qatorida keltirmaydi.

Google oʻzining Search funksiyalari uchun bundan ham uzoqroqqa boradi. Uning AI Overviews va AI Mode boʻyicha tavsiyalarida ularda chiqish uchun yangi mashina oʻqiydigan fayllar, AI matn fayllari yoki belgilash yaratish shart emasligi aytilgan. Google Search uchun llms.txt ning eʼlon qilingan roli yoʻq.

Demak, halol javob shunday: baʼzi AI vositalari, asosan saytga yoʻnaltirilgan kod yordamchilari va agentlar uni oʻqishi mumkin. AI qidiruvi sahifangizga iqtibos keltirishini hal qiladigan kraulerlar esa HTMLʼingiz bilan ishlaydi.

Faylingizni biror narsa oʻqiyotganini oʻzingiz koʻrishingiz mumkin. Server yoki CDN loglaringizda /llms.txt ga soʻrovlarni qidiring va user agentlarga qarang. Agar bir necha hafta davomida soʻrovlar boʻlmasa, bu uning saytingiz uchun qiymati haqida har qanday umumiy daʼvodan koʻra koʻproq narsani aytadi.

Baribir uni qoʻshishim kerakmi?

Koʻpchilik saytlar uchun bu kam xarajatli, lekin natijasi noaniq qoʻshimcha. Bu bir necha daqiqa oladi, qidiruvdagi koʻrinishingizga zarar yetkaza olmaydi va uni qidiradigan agentlarga yordam berishi mumkin. U hujjatlar, dasturchilar uchun vositalar va maʼlumotnoma materiallari koʻp mahsulotlar uchun eng foydali.

U qila olmaydigan narsa — kirish muammolarini tuzatish. Agar firewall AI kraulerlarini bloklasa, robots.txt ularni taqiqlasa yoki kontentingiz faqat JavaScript ishga tushgandan keyin paydo boʻlsa, llms.txt hech narsani oʻzgartirmaydi. Avval ularni tuzating.

Yaxshi llms.txt ni qanday yozaman?

AISeeWhy llms.txt ga qanday yondashadi?

AISeeWhy saytingizda llms.txt borligini va audit qilingan sahifa unda roʻyxatga kiritilganini tekshiradi. Bugun AI kraulerlari uni kamdan-kam oʻqigani uchun faylning yoʻqligi eng past ustuvorlikdagi P3 topilmasi hisoblanadi va hisobotda sahifa sarlavhasi, tavsifi va sitemap asosida tuzilgan, tahrirlab eʼlon qilishingiz mumkin boʻlgan qoralama beriladi.

Bu muammo uchun tuzatishlar

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Koʻp beriladigan savollar

llms.txt rasmiy standartmi?

Yoʻq. Bu llmstxt.org saytida eʼlon qilingan hamjamiyat taklifi. U IETF yoki W3C standarti emas va hech bir AI ishlab chiquvchisi uni oʻqishga majbur emas.

llms.txt AI oʻqitishni bloklaydimi?

Yoʻq. Bu ruxsatlar toʻplami emas, havolalar roʻyxati. Oʻqitishdan voz kechish uchun robots.txt da GPTBot, ClaudeBot yoki Google-Extended kabi oʻqitish tokenlaridan foydalaning.

Google AI Overviewsʼda chiqish uchun llms.txt kerakmi?

Yoʻq. Google AI Overviews yoki AI Modeʼda chiqish uchun AI matn fayllari yoki maxsus belgilash kerak emasligini aytadi. Sahifa indekslangan va snippet koʻrsatishi mumkin boʻlishi kerak.

llms.txt quyi papkada joylashishi mumkinmi?

Taklifning joriy versiyasi /docs/llms.txt kabi quyi yoʻldagi faylga ruxsat beradi, u oʻsha yoʻl ostidagi sahifalarni qamraydi. Koʻpchilik saytlarga ildizdagi bitta fayl kifoya.

Manbalar

Boshqa maqolalar