Cik vietņu publicē llms.txt? Pārbaudījām 10 000 domēnu
No 10 000 populārākajiem domēniem 12,4% publicē llms.txt (1 240), bet no tiem, kuru sākumlapa atbild ar HTML, 16,7%. Lielākas vietnes publicē biežāk. Vietnes, kas to publicē, bloķē AI meklēšanas rāpuļprogrammas 1,4% gadījumu, bet vietnes, kas to nepublicē, 15,0%. Tas skaita tikai publicēšanu: nav zināms, vai kāds AI asistents šo failu lasa.
llms.txt ir viens no visvairāk apspriestajiem failiem AI meklēšanā un viens no vismazāk izmērītajiem. Mēs jau izlasījām 10 000 populārāko domēnu robots.txt un tajā pašā piegājienā katram pieprasījām /llms.txt. Lūk, ko saņēmām.
Šajā lapā
Kā mēs pārbaudījām?
Mēs paņēmām Tranco saraksta 10 000 populārākos domēnus (saraksta ID JZWZY) un 2026. gada 21. novembrī no katra vienreiz pieprasījām /llms.txt ar AISeeWhy paša user agent, pēc sākumlapas nolasīšanas un tās novirzes uz galveno hostu.
Domēns tiek uzskatīts par tādu, kas publicē llms.txt, kad pats /llms.txt atbild ar 200, netukšu teksta saturu, kas nav HTML lapa, un bez novirzes uz kādu citu lapu, piemēram, pieteikšanās vai sākumlapu. Šajā reizē mēs faila formātu nepārbaudījām.
Ko mēs atradām?
- 1 240 no 10 000 domēniem (12,4%) publicē
llms.txt. - Sarakstā ir CDN un API hosti, kas neapkalpo nevienu vietni. No 7 367 domēniem, kuru sākumlapa atbildēja ar HTML, to publicē 1 233 (16,7%).
- Gandrīz visi no tiem atdod arī robots.txt: 1 229 no 1 240.
Vai lielākas vietnes publicē biežāk?
Jā, ar skaidru pārsvaru. Mēs sadalījām vietnes (domēnus, kuru sākumlapa atbildēja ar HTML) pēc Tranco vietas:
- 1.–1 000. vieta: 22,6% publicē llms.txt (149 no 658 vietnēm).
- 1 001.–3 000. vieta: 18,2% (264 no 1 449).
- 3 001.–10 000. vieta: 15,6% (820 no 5 260).
Kas to publicē?
No 6 192 domēniem, kas atdod robots.txt, tie, kas publicē llms.txt, izskatās citādi nekā pārējie:
- Tie bloķē vismaz vienu AI apmācības rāpuļprogrammu 11,8% gadījumu, bet domēni bez llms.txt 26,0%.
- Tie bloķē vismaz vienu AI meklēšanas vai lietotāja rāpuļprogrammu 1,4% gadījumu pret 15,0%.
- Tie izmanto rindu
Content-Signal12,9% gadījumu pret 4,9%.
Citiem vārdiem, vietnes, kas pūlas publicēt llms.txt, pārsvarā ir tās, kas AI rāpuļprogrammas jau ielaiž.
Ko tas neparāda?
Tas parāda saistību, nevis cēloni. Vietne, kas nopietni uztver AI redzamību, var publicēt llms.txt un arī turēt robots.txt atvērtu; tas nenozīmē, ka fails radīja atšķirību. Skaitījums arī mēra tikai publicēšanu. Tas neparāda, vai kāds AI asistents šo failu lasa, un lielākās AI meklēšanas rāpuļprogrammas nesaka, ka to izmanto.
Skaitļi apraksta sākumlapas noteikumus un failu vienā adresē vienā dienā populārākajiem domēniem. Mazākas vietnes var izskatīties citādi.
Vai to vajadzētu publicēt?
Tas ir lēti un nekaitīgi: īss Markdown kopsavilkums par jūsu vietni un jūsu noderīgāko lapu saraksts. Turiet to precīzu un saites darbspējīgas. Neuztveriet to kā aizvietotāju rāpuļprogrammu ielaišanai: llms.txt vietnē, kuras ugunsmūris rāpuļprogrammu atsaka vai kuras robots.txt to aizliedz, nepalīdz nevienam.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- llms.txt pārbaude un validators
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Biežāk uzdotie jautājumi
Cik vietņu ir llms.txt?
No 10 000 populārākajiem domēniem, ko pārbaudījām, 12,4% to publicē. Domēnu vidū, kuru sākumlapa atbild ar HTML, daļa ir 16,7%, un lielākajām vietnēm tā ir augstāka: 22,6% pirmajā tūkstotī.
Vai vietnes ar llms.txt biežāk atļauj AI rāpuļprogrammas?
Mūsu datos jā: tās bloķē AI meklēšanas un lietotāja rāpuļprogrammas 1,4% gadījumu pret 15,0% vietnēm bez šī faila. Tā ir korelācija. Tā neparāda, ka fails maina rāpuļprogrammu attieksmi pret vietni.
Vai llms.txt palīdz tikt citētam AI asistentos?
Mūsu dati to nevar pateikt. Tie skaita, kuras vietnes failu publicē, nevis vai asistents to izmanto, un lielākās AI meklēšanas rāpuļprogrammas nenorāda, ka to lasa. Svarīgākas ir nolasāmas lapas un atvērta piekļuve.
Kā noteikt, vai vietnei ir īsts llms.txt?
Pieprasiet /llms.txt un pārbaudiet, vai tas atbild ar 200 tajā adresē ar teksta saturu, kas nav HTML lapa. Novirze uz sākumlapu vai pieteikšanās lapu nav llms.txt.
Avoti
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers