Kiek svetainių skelbia llms.txt? Patikrinome 10 000 domenų

Paskelbta

Trumpas atsakymas

Iš 10 000 populiariausių domenų 12,4 % skelbia llms.txt (1 240), o tarp tų, kurių pagrindinis puslapis atsako HTML, – 16,7 %. Didesnės svetainės skelbia dažniau. Svetainės, skelbiančios šį failą, DI paieškos robotus blokuoja 1,4 % atvejų, o neskelbiančios – 15,0 %. Tai skaičiuoja tik publikavimą: nerodo, ar kuris nors DI asistentas failą skaito.

llms.txt yra vienas labiausiai aptariamų DI paieškos failų ir vienas mažiausiai išmatuotų. Jau perskaitėme 10 000 geriausių domenų robots.txt, o tuo pačiu metu iš kiekvieno paprašėme ir /llms.txt. Štai kas atsakė.

Šiame puslapyje
  1. Kaip tikrinome?
  2. Ką radome?
  3. Ar didesnės svetainės skelbia dažniau?
  4. Kas jį skelbia?
  5. Ko šie duomenys nerodo?
  6. Ar verta jį skelbti?

Kaip tikrinome?

Paėmėme 10 000 geriausių Tranco sąrašo domenų (sąrašo ID JZWZY) ir 2026 m. lapkričio 21 d. iš kiekvieno vieną kartą paprašėme /llms.txt, naudodami savo AISeeWhy naudotojo agentą, kai tik perskaitėme pagrindinį puslapį ir pasekėme jo nukreipimą į pagrindinį serverį.

Domenas laikomas skelbiančiu llms.txt, kai pats /llms.txt atsako 200, netuščiu tekstiniu turiniu, kuris nėra HTML puslapis, ir nenukreipia į kitą puslapį, pavyzdžiui, prisijungimo ar pagrindinį. Šiame tyrime failo formato netikrinome.

Ką radome?

Ar didesnės svetainės skelbia dažniau?

Taip, ir su aiškia persvara. Svetaines (domenus, kurių pagrindinis puslapis atsakė HTML) suskirstėme pagal Tranco reitingą:

Kas jį skelbia?

Iš 6 192 domenų, pateikiančių robots.txt, llms.txt skelbiantys domenai skiriasi nuo likusių:

Kitaip tariant, svetainės, kurios rūpinasi llms.txt skelbimu, dažniausiai jau įsileidžia DI robotus.

Ko šie duomenys nerodo?

Jie rodo ryšį, o ne priežastį. Svetainė, rimtai žiūrinti į matomumą DI sistemose, gali skelbti llms.txt ir kartu laikyti robots.txt atvirą, bet tai nereiškia, kad skirtumą lėmė failas. Be to, skaičiuojamas tik publikavimas. Nežinoma, ar kuris nors DI asistentas failą skaito, o pagrindiniai DI paieškos robotai nesako, kad jį naudoja.

Skaičiai aprašo pagrindinio puslapio taisykles ir failą vienu adresu vieną dieną, populiariausiems domenams. Mažesnės svetainės gali atrodyti kitaip.

Ar verta jį skelbti?

Tai pigu ir nekenksminga: trumpa Markdown santrauka apie svetainę ir naudingiausių puslapių sąrašas. Laikykite ją tikslią, o nuorodas veikiančias. Nelaikykite jos robotų įsileidimo pakaitalu: llms.txt svetainėje, kurios ugniasienė robotą atmeta arba kurios robots.txt jam draudžia, niekam nepadeda.

Nemokami įrankiai

Kiti žingsniai

Dažniausiai užduodami klausimai

Kiek svetainių turi llms.txt?

Iš 10 000 patikrintų populiariausių domenų jį skelbia 12,4 %. Tarp domenų, kurių pagrindinis puslapis atsako HTML, dalis yra 16,7 %, o didžiausių svetainių ji aukštesnė: 22,6 % tarp 1 000 geriausių.

Ar svetainės su llms.txt dažniau leidžia DI robotus?

Mūsų duomenimis, taip: DI paieškos ir naudotojo robotus jos blokuoja 1,4 % atvejų, o svetainės be šio failo – 15,0 %. Tai koreliacija. Ji nerodo, kad failas keičia, kaip robotai elgiasi su svetaine.

Ar llms.txt padeda DI asistentams mane cituoti?

Mūsų duomenys to nepasako. Jie skaičiuoja, kurios svetainės skelbia failą, o ne ar asistentas jį naudoja, o pagrindiniai DI paieškos robotai nesako, kad jį skaito. Svarbiau, kad puslapius būtų galima nuskaityti ir prieiga būtų atvira.

Kaip atskirti tikrą llms.txt?

Paprašykite /llms.txt ir patikrinkite, ar tuo adresu atsakoma 200 ir tekstiniu turiniu, kuris nėra HTML puslapis. Nukreipimas į pagrindinį ar prisijungimo puslapį nėra llms.txt.

Šaltiniai

Daugiau straipsnių