Nechta sayt llms.txt e'lon qiladi? 10 000 ta domenni tekshirdik
Eng mashhur 10 000 domenning 12,4 foizi (1 240 tasi) llms.txt e'lon qiladi, bosh sahifasi HTML bilan javob beradiganlarning esa 16,7 foizi. Katta saytlar ko'proq e'lon qiladi. Uni e'lon qiladigan saytlar AI qidiruv kroulerlarini 1,4 foiz hollarda to'sadi, e'lon qilmaydiganlar esa 15,0 foiz hollarda. Bu faqat e'lon qilinganini sanaydi: biror AI assistent faylni o'qishini ko'rsatmaydi.
llms.txt AI qidiruvda eng ko'p muhokama qilinadigan va eng kam o'lchangan fayllardan biri. Biz top 10 000 domenning robots.txt faylini allaqachon o'qigan edik, shu o'tishda har biridan /llms.txt ni ham so'radik. Mana nima chiqdi.
Ushbu sahifada
Qanday tekshirdik?
Tranco ro'yxatining top 10 000 domenini oldik (ro'yxat ID'si JZWZY) va 2026-yil 21-noyabrda bosh sahifani o'qib, uning asosiy hostga yo'naltirishiga ergashgach, har biridan /llms.txt ni AISeeWhy'ning o'z user agenti bilan bir martadan so'radik.
Domen llms.txt e'lon qilgan hisoblanadi, agar /llms.txt o'zi 200 bilan javob bersa, HTML sahifa bo'lmagan bo'sh bo'lmagan matn qaytarsa va kirish sahifasi yoki bosh sahifa kabi boshqa sahifaga yo'naltirmasa. Bu safar faylning formatini tekshirmadik.
Nimani topdik?
- 10 000 ta domenning 1 240 tasi (12,4 foiz)
llms.txte'lon qiladi. - Ro'yxatda veb-sayt bermaydigan CDN va API hostlari ham bor. Bosh sahifasi HTML bilan javob bergan 7 367 ta domenning 1 233 tasi (16,7 foiz) uni e'lon qiladi.
- Ularning deyarli hammasi robots.txt ham beradi: 1 240 tadan 1 229 tasi.
Katta saytlar ko'proq e'lon qiladimi?
Ha, sezilarli farq bilan. Veb-saytlarni (bosh sahifasi HTML bilan javob bergan domenlarni) Tranco o'rni bo'yicha bo'ldik:
- 1 dan 1 000 gacha o'rinlar: 22,6 foizi llms.txt e'lon qiladi (658 ta veb-saytdan 149 tasi).
- 1 001 dan 3 000 gacha o'rinlar: 18,2 foiz (1 449 tadan 264 tasi).
- 3 001 dan 10 000 gacha o'rinlar: 15,6 foiz (5 260 tadan 820 tasi).
Uni kimlar e'lon qiladi?
robots.txt beradigan 6 192 ta domen orasida llms.txt e'lon qilganlar qolganlardan farq qiladi:
- Ular kamida bitta AI o'qitish kroulerini 11,8 foiz hollarda to'sadi, llms.txt'siz domenlar esa 26,0 foiz hollarda.
- Ular kamida bitta AI qidiruv yoki foydalanuvchi kroulerini 1,4 foiz hollarda to'sadi, boshqalar 15,0 foiz hollarda.
- Ular
Content-Signalqatoridan 12,9 foiz hollarda foydalanadi, boshqalar 4,9 foiz hollarda.
Boshqacha aytganda, llms.txt e'lon qilishga urinadigan saytlar asosan AI kroulerlarni allaqachon kiritib qo'ygan saytlardir.
Bu nimani ko'rsatmaydi?
Bu bog'liqlikni ko'rsatadi, sababni emas. AI ko'rinishiga jiddiy yondashadigan sayt llms.txt e'lon qilib, robots.txt'ni ham ochiq tutishi mumkin, bu farqni fayl yaratgan degani emas. Hisob faqat e'lon qilinganini o'lchaydi. U biror AI assistent faylni o'qishini ko'rsatmaydi, yirik AI qidiruv kroulerlari esa uni ishlatishini aytmaydi.
Raqamlar eng mashhur domenlar uchun bosh sahifa qoidalarini va bitta manzildagi faylni bitta kunda tasvirlaydi. Kichikroq saytlar boshqacha ko'rinishi mumkin.
Uni e'lon qilish kerakmi?
Bu arzon va zararsiz: saytingizning qisqa Markdown tavsifi va eng foydali sahifalaringiz ro'yxati. Uni aniq saqlang va havolalari ishlab tursin. Uni kroulerlarni kiritishning o'rnini bosadi deb o'ylamang: xavfsizlik devori kroulerni rad etadigan yoki robots.txt'i uni taqiqlaydigan saytdagi llms.txt hech kimga yordam bermaydi.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- llms.txt tekshiruvi va validatori
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Koʻp beriladigan savollar
Veb-saytlarning qancha qismida llms.txt bor?
Tekshirgan eng mashhur 10 000 domenning 12,4 foizi uni e'lon qiladi. Bosh sahifasi HTML bilan javob beradigan domenlar orasida ulush 16,7 foiz, eng katta saytlarda esa yuqoriroq: top 1 000 da 22,6 foiz.
llms.txt'li saytlar AI kroulerlarga ko'proq ruxsat beradimi?
Bizning ma'lumotlarimizda ha: ular AI qidiruv va foydalanuvchi kroulerlarini 1,4 foiz hollarda to'sadi, llms.txt'siz saytlar esa 15,0 foiz hollarda. Bu korrelyatsiya. Fayl kroulerlarning saytga munosabatini o'zgartirishini ko'rsatmaydi.
llms.txt AI assistentlar sahifamni manba qilib ko'rsatishiga yordam beradimi?
Ma'lumotlarimiz buni ayta olmaydi. Ular faylni qaysi saytlar e'lon qilishini sanaydi, assistent uni ishlatishini emas, yirik AI qidiruv kroulerlari esa uni o'qishini aytmaydi. Kroul qilinadigan sahifalar va ochiq kirish muhimroq.
Saytda haqiqiy llms.txt borligini qanday bilasiz?
/llms.txt ni so'rang va u shu manzilning o'zida 200 bilan, HTML sahifa bo'lmagan matn bilan javob berishini tekshiring. Bosh sahifaga yoki kirish sahifasiga yo'naltirish llms.txt emas.
Manbalar
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers