Mitu saiti avaldab llms.txt-i? Kontrollisime 10 000 domeeni
10 000 populaarseimast domeenist avaldab llms.txt-i 12,4% (1240) ja 16,7% neist, mille avaleht vastab HTML-iga. Suuremad saidid avaldavad sagedamini. Saidid, mis selle avaldavad, blokeerivad tehisintellekti otsingurobotid 1,4% juhtudest, ilma selleta saidid aga 15,0% juhtudest. See loendab ainult avaldamist: see ei näita, kas ükski tehisintellekti assistent seda faili loeb.
llms.txt on üks enim arutatud faile tehisintellekti otsingus ja üks vähimmõõdetud. Lugesime juba 10 000 parima domeeni robots.txt-i ja samal läbimisel küsisime igaühelt ka /llms.txt. Siin on, mis tagasi tuli.
Sellel lehel
Kuidas me kontrollisime?
Võtsime Tranco nimekirja 10 000 parimat domeeni (nimekirja ID JZWZY) ja küsisime 21. novembril 2026 igaühelt /llms.txt ühe korra, AISeeWhy enda kasutajaagendina, pärast avalehe lugemist ja selle ümbersuunamise järgimist põhihostile.
Domeeni loeme llms.txt-i avaldavaks, kui /llms.txt ise vastab koodiga 200, mittetühja tekstikehaga, mis ei ole HTML-leht, ning ilma ümbersuunamiseta mõnele muule lehele, näiteks sisselogimise või avalehele. Selles käivituses me faili vormingut ei kontrollinud.
Mida me leidsime?
- 1240 domeenist 10 000-st (12,4%) avaldab
llms.txtfaili. - Nimekirjas on CDN-e ja API hoste, mis ei teeni ühtegi veebisaiti. 7367 domeenist, mille avaleht vastas HTML-iga, avaldab selle 1233 (16,7%).
- Peaaegu kõik neist serveerivad ka robots.txt-i: 1229 1240-st.
Kas suuremad saidid avaldavad rohkem?
Jah, selge vahega. Jagasime veebisaidid (domeenid, mille avaleht vastas HTML-iga) Tranco asetuse järgi:
- Kohad 1 kuni 1000: 22,6% avaldab llms.txt-i (149 veebisaiti 658-st).
- Kohad 1001 kuni 3000: 18,2% (264 1449-st).
- Kohad 3001 kuni 10 000: 15,6% (820 5260-st).
Kes selle avaldab?
6192 domeenist, mis serveerivad robots.txt-i, näevad llms.txt-i avaldajad ülejäänutest erinevad välja:
- Nad blokeerivad vähemalt ühe tehisintellekti treeningroboti 11,8% juhtudest, ilma llms.txt-ita domeenid aga 26,0% juhtudest.
- Nad blokeerivad vähemalt ühe tehisintellekti otsingu- või kasutajaroboti 1,4% juhtudest, teised 15,0% juhtudest.
- Nad kasutavad
Content-Signalrida 12,9% juhtudest, teised 4,9% juhtudest.
Teisisõnu: saidid, mis vaevuvad llms.txt-i avaldama, on enamasti saidid, mis juba lasevad tehisintellekti roboteid sisse.
Mida see ei näita?
See näitab seost, mitte põhjust. Sait, mis võtab tehisintellekti nähtavust tõsiselt, võib avaldada llms.txt-i ja hoida ka oma robots.txt-i avatuna; see ei tähenda, et fail tegi vahe. Loendus mõõdab ka ainult avaldamist. See ei näita, kas ükski tehisintellekti assistent faili loeb, ja peamised tehisintellekti otsingurobotid ei ütle, et nad seda kasutavad.
Arvud kirjeldavad avalehe reegleid ja faili ühel aadressil ühel päeval kõige populaarsemate domeenide puhul. Väiksemad saidid võivad välja näha teistsugused.
Kas peaksid selle avaldama?
See on odav ja kahjutu: lühike Markdown-kokkuvõte sinu saidist ja nimekiri kõige kasulikumatest lehtedest. Hoia see täpne ja lingid töötavad. Ära pea seda robotite sissepääsu lubamise asendajaks: llms.txt saidil, mille tulemüür roboti tagasi lükkab või mille robots.txt selle keelab, ei aita kedagi.
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- llms.txt kontrollija ja valideerija
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Korduma kippuvad küsimused
Kui suurel osal veebisaitidest on llms.txt?
Meie kontrollitud 10 000 populaarseimast domeenist avaldab selle 12,4%. Domeenide seas, mille avaleht vastab HTML-iga, on osakaal 16,7% ja suurimate saitide puhul kõrgem: 22,6% esimese 1000 seas.
Kas llms.txt-iga saidid lubavad tehisintellekti roboteid sagedamini?
Meie andmetes jah: nad blokeerivad tehisintellekti otsingu- ja kasutajaroboteid 1,4% juhtudest, ilma selleta saidid aga 15,0% juhtudest. See on korrelatsioon. See ei näita, et fail muudaks robotite suhtumist saiti.
Kas llms.txt aitab mind tehisintellekti assistentide vastustesse saada?
Meie andmed ei oska seda öelda. Need loendavad, millised saidid faili avaldavad, mitte seda, kas assistent seda kasutab, ja peamised tehisintellekti otsingurobotid ei ütle, et nad seda loevad. Roomatavad lehed ja avatud ligipääs loevad rohkem.
Kuidas aru saada, kas saidil on päris llms.txt?
Küsi /llms.txt ja kontrolli, et see vastab sellel aadressil koodiga 200 ja tekstikehaga, mis ei ole HTML-leht. Ümbersuunamine avalehele või sisselogimislehele ei ole llms.txt.
Allikad
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers