llms-full.txt nima va uni llms.txt yonida eʼlon qilish kerakmi?
llms-full.txt — sayt hujjatlarining toʻliq matnini, odatda Markdown formatida saqlaydigan va qisqa /llms.txt indeksi yonida eʼlon qilinadigan bitta matn fayli. U llmstxt.org dagi llms.txt taklifining bir qismi emas, balki hujjatlar saytlari qabul qilgan kelishuv. Agentlar ommaviy yuklaydigan dasturchi hujjatlarini yuritsangiz, uni eʼlon qiling; aksariyat biznes saytlari uchun yaxshi llms.txt va toza sahifalar yetarli.
llms.txt nima ekani haqidagi maqolamiz indeks faylining oʻzini yoritadi: uning formati, qayerdan kelgani va uni kim oʻqiydi. Bu maqola esa uning kattaroq qarindoshi haqida. Agar hujjatlar saytida llms-full.txtni koʻrgan boʻlsangiz yoki tekshiruv vositasi sizda shunday fayl bormi deb soʻragan boʻlsa, quyida bu fayl nima ekani, taklif nima deydi va nima demaydi hamda unga mehnat sarflashga arziydimi — shu haqda.
Ushbu sahifada
- llms-full.txt llms.txt spetsifikatsiyasining bir qismimi?
- llms-full.txt llms.txt va .md sahifalardan nimasi bilan farq qiladi?
- llms-full.txt ni kim eʼlon qiladi?
- AI kraulerlari llms.txt yoki llms-full.txt ni oʻqiydimi?
- llms-full.txt qanchalik katta boʻlishi mumkin?
- llms-full.txt ni qanday yarataman va tekshiraman?
- llms-full.txt ustuvor vazifa boʻlishi kerakmi?
llms-full.txt llms.txt spetsifikatsiyasining bir qismimi?
Yoʻq. llmstxt.org dagi taklif hozir 2-versiyada (2026 yil 10 avgustda oʻzgartirilgan) boʻlib, faqat sayt ildizida yoki istalgan yoʻlda joylashgan llms.txt nomli fayllarni belgilaydi, bunda fayl oʻz yoʻli ostidagi sahifalarni qamrab oladi. U shuningdek alohida sahifalarning Markdown versiyalarini taklif qiladi: sahifa URLʼiga .md qoʻshilgan (page.html.md) yoki kengaytmasi almashtirilgan (page.md) manzilda, fayl nomisiz URLʼlar uchun esa index.html.md yoki index.md.
Butun kontentni saqlaydigan bitta fayl spetsifikatsiyaning hech qayerida yoʻq. 1-versiya llms.txt ni bitta kontekst fayliga kengaytiradigan llms_txt2ctx vositasini tasvirlagan edi. 2-versiya bu vositani taklifdan olib tashladi va uning oʻrniga kutilgan foydalanishni bayon qiladi: agentlar llms.txt ni oʻqiydi yoki unda qidiradi, soʻng kerakli havolalarga oʻtadi. Taklifning oʻz misoli boʻlgan FastHTML hujjatlari hali ham llms-ctx-full.txt nomli kengaytirilgan faylni beradi.
Demak, llms-full.txt — nomlash boʻyicha kelishuv. “Barcha sahifalar ketma-ket”dan tashqari kelishilgan format yoʻq.
llms-full.txt llms.txt va .md sahifalardan nimasi bilan farq qiladi?
Taklifning 2-versiyasi agentlarga sahifaning Markdown versiyasini va uni qamrab oladigan llms.txt ni HTTP sarlavhasi yoki sahifa HTMLʼidagi standart link relationʼlar yordamida topish usulini qoʻshadi:
llms.txt— indeks: sarlavha, qisqa tavsif va havolalar roʻyxatlari. Taklifga koʻra, u model kontekstiga sigʻadigan darajada kichik boʻlishi kerak..mdsahifalar — alohida sahifalarning toza nusxalari. Ular taklifning bir qismi va agent faqat kerakli sahifalarni yuklaydi.llms-full.txt— bitta faylga birlashtirilgan barcha sahifalar. Bitta soʻrov agentga hamma narsani beradi, lekin hajm hisobiga.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt uchun shunga oʻxshash link relation yoʻq. Uni eʼlon qiladigan saytlar odatda unga oʻz llms.txt faylidan havola beradi.
llms-full.txt ni kim eʼlon qiladi?
Asosan dasturchi hujjatlari saytlari. 2026 yil 17 noyabrda tekshirganimizda quyidagi fayllar ishlab turgan edi:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, taxminan 71 MB. Uning ildizdagi llms.txt fayli 17 KB va har bir mahsulot uchun alohida llms.txt ga havola beradi. - Anthropic:
platform.claude.com/llms-full.txt, taxminan 53 MB. 102 KB lik llms.txt oxirida unga havola beradi. - OpenAI:
developers.openai.com/llms-full.txt, taxminan 9,7 MB, faylda bitta faylli Markdown eksporti deb tasvirlangan. Uning llms.txt fayli 6 KB. - Perplexity:
docs.perplexity.ai/llms-full.txt, taxminan 4 MB, har bir sahifa URLʼini beradiganSource:qatori bilan. Uning llms.txt fayli 46 KB.
Toʻrttalasi ham dasturchilar va kod yozadigan agentlar oʻqiydigan API va mahsulot hujjatlari. Eng mashhur 1000 ta domen boʻyicha 2026 yil noyabridagi tadqiqotimizda llms-full.txt ni hisoblamadik; ulardan 132 tasi llms.txt eʼlon qilgan, shundan 117 tasi llmstxt.org formatiga amal qilgan.
AI kraulerlari llms.txt yoki llms-full.txt ni oʻqiydimi?
Biz topa olgan hech qanday hujjatga koʻra yoʻq. OpenAI, Anthropic va Perplexityʼning krauler sahifalari ularning botlari va robots.txt tokenlarini tasvirlaydi va ularning hech biri bu kraulerlar boshqa saytlardagi llms.txt yoki llms-full.txt ni oʻqishini aytmaydi. Google AI Overviews yoki AI Modeʼda chiqish uchun yangi mashina oʻqiydigan fayllar, AI matn fayllari yoki belgilash yaratish shart emasligini aytadi.
Bu fayllarni oʻz hujjatlari uchun eʼlon qilish sizning fayllaringizni oʻqish bilan bir narsa emas. llmstxt.org aytishicha, fayllar eng koʻp dasturiy taʼminot hujjatlarida ishlatiladi, u yerda kod yozadigan agentlar ularga amal qiladi. Chrome Lighthouseʼda llms.txt auditi bor, lekin u faqat /llms.txt ni yuklashdagi server xatosini belgilaydi; fayl yoʻqligi “qoʻllanmaydi” deb hisoblanadi va audit llms-full.txt ni tilga olmaydi.
Oʻz saytingiz uchun dalil kerak boʻlsa, server loglaringizda /llms-full.txt ga soʻrovlarni qidiring va user agentlarga qarang.
llms-full.txt qanchalik katta boʻlishi mumkin?
Hech qanday cheklov hujjatlashtirilmagan, chunki faylni hech bir spetsifikatsiya belgilamaydi. Amaliy cheklov — oʻquvchi. llmstxt.org kontekst oynalari avvalgidan katta boʻlsa ham, aksariyat veb-saytlarni butunlay sigʻdirish uchun hali ham juda kichik ekanini qayd etadi. Bir necha megabaytlik faylni bir martada oʻqib boʻlmaydi, shuning uchun agent unda qidirishi yoki uni qismlarga boʻlib oʻqishi kerak, llms.txt indeksi va .md sahifalar esa buni allaqachon imkon beradi.
Agar baribir eʼlon qilsangiz:
- Katta hujjatlarni bitta ulkan fayl oʻrniga mahsulot yoki boʻlim boʻyicha boʻling, Cloudflare har bir mahsulot uchun llms.txt fayllari bilan shunday qiladi.
- Har bir sahifa ustiga manba URLʼini qoʻying, shunda fayl asosida tuzilgan javob baribir toʻgʻri sahifaga ishora qila oladi.
- Faqat ochiq kontentni kiriting. Faylni butunligicha nusxalash oson va robots.txt qoidalari, jumladan oʻqitish kraulerlari bloklari, unga boshqa har qanday URL kabi qoʻllanadi.
- Uni har bir deployʼda qayta yarating. Eskirgan toʻliq nusxa umuman boʻlmaganidan yomonroq, chunki u eskirgan faktlarni bitta qulay joyda takrorlaydi.
llms-full.txt ni qanday yarataman va tekshiraman?
Yaroqli llms.txt va sahifalaringizning Markdown versiyalaridan boshlang; shunda llms-full.txt shunchaki yigʻish bosqichi boʻladi. Bu skript llms.txt ni oʻqiydi, unda havola berilgan har bir .md sahifani yuklaydi va ularni har biri uchun manba qatori bilan birlashtiradi:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") Soʻng natijani tekshiring. Fayl HTML sahifa emas, text/plain yoki text/markdown sifatida 200 holatini qaytarishi, undagi sahifalar soni esa llms.txt dagi havolalarga mos kelishi kerak. AISeeWhyʼning bepul llms.txt generatori indeksni yozishga yordam beradi, bepul llms.txt validatori esa uni llmstxt.org formati boʻyicha tekshiradi: sarlavha, qisqa tavsif, boʻlimlar va havolalar, har bir muammo uchun qator raqami bilan. llms-full.txt uchun tekshiriladigan format yoʻq, shuning uchun yuqoridagi tekshiruvlar foydali.
llms-full.txt ustuvor vazifa boʻlishi kerakmi?
Aksariyat saytlar uchun yoʻq. Ikkala fayl ham faqat oʻquvchi sahifalaringizga yetib bora olgandan keyin yordam beradi. AISeeWhyʼning bepul tekshiruvi sahifani brauzer bilan yonma-yon 16 ta AI va qidiruv krauleri sifatida yuklaydi va robots.txt, firewall yoki JavaScript ularni toʻxtatayotganini koʻrsatadi — bu AIʼdagi koʻrinish uchun ikkala matn faylidan koʻra koʻproq narsani hal qiladi.
Bu muammo uchun tuzatishlar
- llms.txt yoʻq
- llms.txt sarlavha bilan boshlanmaydi
- Sahifa llms.txt da koʻrsatilmagan
- llms.txt juda katta: 1200 KB
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- llms.txt tekshiruvi va validatori
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Koʻp beriladigan savollar
llms.txt taklifi llms-full.txt ni talab qiladimi?
Yoʻq. Taklif llms.txt va sahifalarning Markdown versiyalarini belgilaydi. llms-full.txt — baʼzi hujjatlar saytlari amal qiladigan kelishuv.
llm.txt va llms.txt oʻrtasidagi farq nima?
Taklifdagi fayl nomi s harfi bilan llms.txt. /llm.txt dagi fayl taklifga amal qilmaydi va llms.txt ni qidiradigan vositalar uni topmaydi.
llms-full.txt qayerda joylashishi kerak?
Buni hech bir spetsifikatsiya aytmaydi. Yuqoridagi misollarda u hujjatlar saytining ildizida llms.txt yonida joylashgan va oʻquvchilar uni topishi uchun llms.txt dan unga havola berilgan.
llms-full.txt Google AI Overviewsʼda yordam beradimi?
Google AI Overviews yoki AI Modeʼda chiqish uchun yangi mashina oʻqiydigan fayllar yoki AI matn fayllari kerak emasligini aytadi. Sahifalar indekslangan va snippet koʻrsatishga yaroqli boʻlishi kerak.
llms-full.txt ni llms.txt tekshiruvchisi bilan tekshirsam boʻladimi?
Faqat qisman. llms.txt tekshiruvchisi indeks formatini tekshiradi, toʻliq kontentli fayl esa unga amal qilmaydi. llms-full.txt uchun holat kodini, kontent turini, hajmni va uning joriy sahifalaringizga mosligini tekshiring.
Manbalar
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI Crawler Access Report, 2026-11