Nechta sayt llms.txt e'lon qiladi? 10 000 ta domenni tekshirdik

Eʼlon qilingan

Qisqa javob

Eng mashhur 10 000 domenning 12,4 foizi (1 240 tasi) llms.txt e'lon qiladi, bosh sahifasi HTML bilan javob beradiganlarning esa 16,7 foizi. Katta saytlar ko'proq e'lon qiladi. Uni e'lon qiladigan saytlar AI qidiruv kroulerlarini 1,4 foiz hollarda to'sadi, e'lon qilmaydiganlar esa 15,0 foiz hollarda. Bu faqat e'lon qilinganini sanaydi: biror AI assistent faylni o'qishini ko'rsatmaydi.

llms.txt AI qidiruvda eng ko'p muhokama qilinadigan va eng kam o'lchangan fayllardan biri. Biz top 10 000 domenning robots.txt faylini allaqachon o'qigan edik, shu o'tishda har biridan /llms.txt ni ham so'radik. Mana nima chiqdi.

Ushbu sahifada
  1. Qanday tekshirdik?
  2. Nimani topdik?
  3. Katta saytlar ko'proq e'lon qiladimi?
  4. Uni kimlar e'lon qiladi?
  5. Bu nimani ko'rsatmaydi?
  6. Uni e'lon qilish kerakmi?

Qanday tekshirdik?

Tranco ro'yxatining top 10 000 domenini oldik (ro'yxat ID'si JZWZY) va 2026-yil 21-noyabrda bosh sahifani o'qib, uning asosiy hostga yo'naltirishiga ergashgach, har biridan /llms.txt ni AISeeWhy'ning o'z user agenti bilan bir martadan so'radik.

Domen llms.txt e'lon qilgan hisoblanadi, agar /llms.txt o'zi 200 bilan javob bersa, HTML sahifa bo'lmagan bo'sh bo'lmagan matn qaytarsa va kirish sahifasi yoki bosh sahifa kabi boshqa sahifaga yo'naltirmasa. Bu safar faylning formatini tekshirmadik.

Nimani topdik?

Katta saytlar ko'proq e'lon qiladimi?

Ha, sezilarli farq bilan. Veb-saytlarni (bosh sahifasi HTML bilan javob bergan domenlarni) Tranco o'rni bo'yicha bo'ldik:

Uni kimlar e'lon qiladi?

robots.txt beradigan 6 192 ta domen orasida llms.txt e'lon qilganlar qolganlardan farq qiladi:

Boshqacha aytganda, llms.txt e'lon qilishga urinadigan saytlar asosan AI kroulerlarni allaqachon kiritib qo'ygan saytlardir.

Bu nimani ko'rsatmaydi?

Bu bog'liqlikni ko'rsatadi, sababni emas. AI ko'rinishiga jiddiy yondashadigan sayt llms.txt e'lon qilib, robots.txt'ni ham ochiq tutishi mumkin, bu farqni fayl yaratgan degani emas. Hisob faqat e'lon qilinganini o'lchaydi. U biror AI assistent faylni o'qishini ko'rsatmaydi, yirik AI qidiruv kroulerlari esa uni ishlatishini aytmaydi.

Raqamlar eng mashhur domenlar uchun bosh sahifa qoidalarini va bitta manzildagi faylni bitta kunda tasvirlaydi. Kichikroq saytlar boshqacha ko'rinishi mumkin.

Uni e'lon qilish kerakmi?

Bu arzon va zararsiz: saytingizning qisqa Markdown tavsifi va eng foydali sahifalaringiz ro'yxati. Uni aniq saqlang va havolalari ishlab tursin. Uni kroulerlarni kiritishning o'rnini bosadi deb o'ylamang: xavfsizlik devori kroulerni rad etadigan yoki robots.txt'i uni taqiqlaydigan saytdagi llms.txt hech kimga yordam bermaydi.

Bepul asboblar

Keyingi qadamlar

Koʻp beriladigan savollar

Veb-saytlarning qancha qismida llms.txt bor?

Tekshirgan eng mashhur 10 000 domenning 12,4 foizi uni e'lon qiladi. Bosh sahifasi HTML bilan javob beradigan domenlar orasida ulush 16,7 foiz, eng katta saytlarda esa yuqoriroq: top 1 000 da 22,6 foiz.

llms.txt'li saytlar AI kroulerlarga ko'proq ruxsat beradimi?

Bizning ma'lumotlarimizda ha: ular AI qidiruv va foydalanuvchi kroulerlarini 1,4 foiz hollarda to'sadi, llms.txt'siz saytlar esa 15,0 foiz hollarda. Bu korrelyatsiya. Fayl kroulerlarning saytga munosabatini o'zgartirishini ko'rsatmaydi.

llms.txt AI assistentlar sahifamni manba qilib ko'rsatishiga yordam beradimi?

Ma'lumotlarimiz buni ayta olmaydi. Ular faylni qaysi saytlar e'lon qilishini sanaydi, assistent uni ishlatishini emas, yirik AI qidiruv kroulerlari esa uni o'qishini aytmaydi. Kroul qilinadigan sahifalar va ochiq kirish muhimroq.

Saytda haqiqiy llms.txt borligini qanday bilasiz?

/llms.txt ni so'rang va u shu manzilning o'zida 200 bilan, HTML sahifa bo'lmagan matn bilan javob berishini tekshiring. Bosh sahifaga yoki kirish sahifasiga yo'naltirish llms.txt emas.

Manbalar

Boshqa maqolalar