Mitu saiti avaldab llms.txt-i? Kontrollisime 10 000 domeeni

Avaldatud

Lühike vastus

10 000 populaarseimast domeenist avaldab llms.txt-i 12,4% (1240) ja 16,7% neist, mille avaleht vastab HTML-iga. Suuremad saidid avaldavad sagedamini. Saidid, mis selle avaldavad, blokeerivad tehisintellekti otsingurobotid 1,4% juhtudest, ilma selleta saidid aga 15,0% juhtudest. See loendab ainult avaldamist: see ei näita, kas ükski tehisintellekti assistent seda faili loeb.

llms.txt on üks enim arutatud faile tehisintellekti otsingus ja üks vähimmõõdetud. Lugesime juba 10 000 parima domeeni robots.txt-i ja samal läbimisel küsisime igaühelt ka /llms.txt. Siin on, mis tagasi tuli.

Sellel lehel
  1. Kuidas me kontrollisime?
  2. Mida me leidsime?
  3. Kas suuremad saidid avaldavad rohkem?
  4. Kes selle avaldab?
  5. Mida see ei näita?
  6. Kas peaksid selle avaldama?

Kuidas me kontrollisime?

Võtsime Tranco nimekirja 10 000 parimat domeeni (nimekirja ID JZWZY) ja küsisime 21. novembril 2026 igaühelt /llms.txt ühe korra, AISeeWhy enda kasutajaagendina, pärast avalehe lugemist ja selle ümbersuunamise järgimist põhihostile.

Domeeni loeme llms.txt-i avaldavaks, kui /llms.txt ise vastab koodiga 200, mittetühja tekstikehaga, mis ei ole HTML-leht, ning ilma ümbersuunamiseta mõnele muule lehele, näiteks sisselogimise või avalehele. Selles käivituses me faili vormingut ei kontrollinud.

Mida me leidsime?

Kas suuremad saidid avaldavad rohkem?

Jah, selge vahega. Jagasime veebisaidid (domeenid, mille avaleht vastas HTML-iga) Tranco asetuse järgi:

Kes selle avaldab?

6192 domeenist, mis serveerivad robots.txt-i, näevad llms.txt-i avaldajad ülejäänutest erinevad välja:

Teisisõnu: saidid, mis vaevuvad llms.txt-i avaldama, on enamasti saidid, mis juba lasevad tehisintellekti roboteid sisse.

Mida see ei näita?

See näitab seost, mitte põhjust. Sait, mis võtab tehisintellekti nähtavust tõsiselt, võib avaldada llms.txt-i ja hoida ka oma robots.txt-i avatuna; see ei tähenda, et fail tegi vahe. Loendus mõõdab ka ainult avaldamist. See ei näita, kas ükski tehisintellekti assistent faili loeb, ja peamised tehisintellekti otsingurobotid ei ütle, et nad seda kasutavad.

Arvud kirjeldavad avalehe reegleid ja faili ühel aadressil ühel päeval kõige populaarsemate domeenide puhul. Väiksemad saidid võivad välja näha teistsugused.

Kas peaksid selle avaldama?

See on odav ja kahjutu: lühike Markdown-kokkuvõte sinu saidist ja nimekiri kõige kasulikumatest lehtedest. Hoia see täpne ja lingid töötavad. Ära pea seda robotite sissepääsu lubamise asendajaks: llms.txt saidil, mille tulemüür roboti tagasi lükkab või mille robots.txt selle keelab, ei aita kedagi.

Tasuta tööriistad

Järgmised sammud

Korduma kippuvad küsimused

Kui suurel osal veebisaitidest on llms.txt?

Meie kontrollitud 10 000 populaarseimast domeenist avaldab selle 12,4%. Domeenide seas, mille avaleht vastab HTML-iga, on osakaal 16,7% ja suurimate saitide puhul kõrgem: 22,6% esimese 1000 seas.

Kas llms.txt-iga saidid lubavad tehisintellekti roboteid sagedamini?

Meie andmetes jah: nad blokeerivad tehisintellekti otsingu- ja kasutajaroboteid 1,4% juhtudest, ilma selleta saidid aga 15,0% juhtudest. See on korrelatsioon. See ei näita, et fail muudaks robotite suhtumist saiti.

Kas llms.txt aitab mind tehisintellekti assistentide vastustesse saada?

Meie andmed ei oska seda öelda. Need loendavad, millised saidid faili avaldavad, mitte seda, kas assistent seda kasutab, ja peamised tehisintellekti otsingurobotid ei ütle, et nad seda loevad. Roomatavad lehed ja avatud ligipääs loevad rohkem.

Kuidas aru saada, kas saidil on päris llms.txt?

Küsi /llms.txt ja kontrolli, et see vastab sellel aadressil koodiga 200 ja tekstikehaga, mis ei ole HTML-leht. Ümbersuunamine avalehele või sisselogimislehele ei ole llms.txt.

Allikad

Veel artikleid