Cik vietņu publicē llms.txt? Pārbaudījām 10 000 domēnu

Publicēts

Īsa atbilde

No 10 000 populārākajiem domēniem 12,4% publicē llms.txt (1 240), bet no tiem, kuru sākumlapa atbild ar HTML, 16,7%. Lielākas vietnes publicē biežāk. Vietnes, kas to publicē, bloķē AI meklēšanas rāpuļprogrammas 1,4% gadījumu, bet vietnes, kas to nepublicē, 15,0%. Tas skaita tikai publicēšanu: nav zināms, vai kāds AI asistents šo failu lasa.

llms.txt ir viens no visvairāk apspriestajiem failiem AI meklēšanā un viens no vismazāk izmērītajiem. Mēs jau izlasījām 10 000 populārāko domēnu robots.txt un tajā pašā piegājienā katram pieprasījām /llms.txt. Lūk, ko saņēmām.

Šajā lapā
  1. Kā mēs pārbaudījām?
  2. Ko mēs atradām?
  3. Vai lielākas vietnes publicē biežāk?
  4. Kas to publicē?
  5. Ko tas neparāda?
  6. Vai to vajadzētu publicēt?

Kā mēs pārbaudījām?

Mēs paņēmām Tranco saraksta 10 000 populārākos domēnus (saraksta ID JZWZY) un 2026. gada 21. novembrī no katra vienreiz pieprasījām /llms.txt ar AISeeWhy paša user agent, pēc sākumlapas nolasīšanas un tās novirzes uz galveno hostu.

Domēns tiek uzskatīts par tādu, kas publicē llms.txt, kad pats /llms.txt atbild ar 200, netukšu teksta saturu, kas nav HTML lapa, un bez novirzes uz kādu citu lapu, piemēram, pieteikšanās vai sākumlapu. Šajā reizē mēs faila formātu nepārbaudījām.

Ko mēs atradām?

Vai lielākas vietnes publicē biežāk?

Jā, ar skaidru pārsvaru. Mēs sadalījām vietnes (domēnus, kuru sākumlapa atbildēja ar HTML) pēc Tranco vietas:

Kas to publicē?

No 6 192 domēniem, kas atdod robots.txt, tie, kas publicē llms.txt, izskatās citādi nekā pārējie:

Citiem vārdiem, vietnes, kas pūlas publicēt llms.txt, pārsvarā ir tās, kas AI rāpuļprogrammas jau ielaiž.

Ko tas neparāda?

Tas parāda saistību, nevis cēloni. Vietne, kas nopietni uztver AI redzamību, var publicēt llms.txt un arī turēt robots.txt atvērtu; tas nenozīmē, ka fails radīja atšķirību. Skaitījums arī mēra tikai publicēšanu. Tas neparāda, vai kāds AI asistents šo failu lasa, un lielākās AI meklēšanas rāpuļprogrammas nesaka, ka to izmanto.

Skaitļi apraksta sākumlapas noteikumus un failu vienā adresē vienā dienā populārākajiem domēniem. Mazākas vietnes var izskatīties citādi.

Vai to vajadzētu publicēt?

Tas ir lēti un nekaitīgi: īss Markdown kopsavilkums par jūsu vietni un jūsu noderīgāko lapu saraksts. Turiet to precīzu un saites darbspējīgas. Neuztveriet to kā aizvietotāju rāpuļprogrammu ielaišanai: llms.txt vietnē, kuras ugunsmūris rāpuļprogrammu atsaka vai kuras robots.txt to aizliedz, nepalīdz nevienam.

Bezmaksas rīki

Nākamie soļi

Biežāk uzdotie jautājumi

Cik vietņu ir llms.txt?

No 10 000 populārākajiem domēniem, ko pārbaudījām, 12,4% to publicē. Domēnu vidū, kuru sākumlapa atbild ar HTML, daļa ir 16,7%, un lielākajām vietnēm tā ir augstāka: 22,6% pirmajā tūkstotī.

Vai vietnes ar llms.txt biežāk atļauj AI rāpuļprogrammas?

Mūsu datos jā: tās bloķē AI meklēšanas un lietotāja rāpuļprogrammas 1,4% gadījumu pret 15,0% vietnēm bez šī faila. Tā ir korelācija. Tā neparāda, ka fails maina rāpuļprogrammu attieksmi pret vietni.

Vai llms.txt palīdz tikt citētam AI asistentos?

Mūsu dati to nevar pateikt. Tie skaita, kuras vietnes failu publicē, nevis vai asistents to izmanto, un lielākās AI meklēšanas rāpuļprogrammas nenorāda, ka to lasa. Svarīgākas ir nolasāmas lapas un atvērta piekļuve.

Kā noteikt, vai vietnei ir īsts llms.txt?

Pieprasiet /llms.txt un pārbaudiet, vai tas atbild ar 200 tajā adresē ar teksta saturu, kas nav HTML lapa. Novirze uz sākumlapu vai pieteikšanās lapu nav llms.txt.

Avoti

Citi raksti