Koliko web-mjesta objavljuje llms.txt? Provjerili smo 10.000 domena

Objavljeno

Kratki odgovor

Od 10.000 najpopularnijih domena, 12,4% objavljuje llms.txt (1.240), a među onima čija početna stranica odgovara HTML-om to je 16,7%. Veća web-mjesta objavljuju češće. Web-mjesta koja ga objavljuju blokiraju AI crawlere za pretraživanje u 1,4% slučajeva, prema 15,0% za ona koja ga ne objavljuju. Ovo broji samo objavu: ne pokazuje čita li datoteku ijedan AI asistent.

llms.txt je jedna od najraspravljanijih datoteka u AI pretraživanju, a jedna od najmanje izmjerenih. Već smo pročitali robots.txt 10.000 najboljih domena, a u istom prolazu od svake smo zatražili i /llms.txt. Evo što je stiglo.

Na ovoj stranici
  1. Kako smo provjeravali?
  2. Što smo otkrili?
  3. Objavljuju li veća web-mjesta češće?
  4. Tko ga objavljuje?
  5. Što ovo ne pokazuje?
  6. Treba li ga objaviti?

Kako smo provjeravali?

Uzeli smo 10.000 najboljih domena s Tranco popisa (ID popisa JZWZY) i 21. studenoga 2026. od svake jednom zatražili /llms.txt, s vlastitim user agentom AISeeWhy, nakon što smo pročitali početnu stranicu i slijedili njezino preusmjeravanje na glavni host.

Domena se računa kao da objavljuje llms.txt kad sam /llms.txt odgovara s 200, neprazan tekstualni sadržaj koji nije HTML stranica, bez preusmjeravanja na neku drugu stranicu, poput prijave ili početne stranice. U ovom prolazu nismo provjeravali format datoteke.

Što smo otkrili?

Objavljuju li veća web-mjesta češće?

Da, s jasnom razlikom. Web-mjesta (domene čija je početna stranica odgovorila HTML-om) podijelili smo prema Tranco rangu:

Tko ga objavljuje?

Među 6.192 domene koje poslužuju robots.txt, one koje objavljuju llms.txt razlikuju se od ostalih:

Drugim riječima, web-mjesta koja se potrude objaviti llms.txt uglavnom su ona koja AI crawlere već puštaju unutra.

Što ovo ne pokazuje?

Pokazuje povezanost, a ne uzrok. Web-mjesto koje AI vidljivost shvaća ozbiljno može objaviti llms.txt i istodobno držati robots.txt otvorenim; to ne znači da je datoteka napravila razliku. Brojanje mjeri i samo objavu. Ne pokazuje čita li datoteku ijedan AI asistent, a veliki AI crawleri za pretraživanje ne navode da je koriste.

Brojke opisuju pravila za početnu stranicu i datoteku na jednoj adresi u jednom danu, za najpopularnije domene. Manja web-mjesta mogu izgledati drukčije.

Treba li ga objaviti?

Jeftino je i bezopasno: kratak sažetak vašeg web-mjesta u Markdownu i popis vaših najkorisnijih stranica. Neka bude točan i neka mu poveznice rade. Ne smatrajte ga zamjenom za puštanje crawlera unutra: llms.txt na web-mjestu čiji vatrozid odbija crawlera, ili čiji ga robots.txt zabranjuje, nikome ne pomaže.

Besplatni alati

Sljedeći koraci

Česta pitanja

Koliki udio web-mjesta ima llms.txt?

Među 10.000 najpopularnijih domena koje smo provjerili, 12,4% ga objavljuje. Među domenama čija početna stranica odgovara HTML-om udio je 16,7%, a veći je za najveća web-mjesta: 22,6% u prvih 1.000.

Dopuštaju li web-mjesta s llms.txt češće AI crawlere?

U našim podacima da: blokiraju AI crawlere za pretraživanje i korisničke crawlere u 1,4% slučajeva, prema 15,0% za web-mjesta bez njega. To je korelacija. Ne pokazuje da datoteka mijenja način na koji crawleri tretiraju web-mjesto.

Pomaže li llms.txt da me AI asistenti citiraju?

Naši podaci to ne mogu reći. Broje koja web-mjesta objavljuju datoteku, a ne koristi li je asistent, a veliki AI crawleri za pretraživanje ne navode da je čitaju. Stranice dostupne crawlerima i otvoren pristup važniji su.

Kako prepoznati ima li web-mjesto pravi llms.txt?

Zatražite /llms.txt i provjerite odgovara li s 200 na toj adresi, s tekstualnim sadržajem koji nije HTML stranica. Preusmjeravanje na početnu stranicu ili stranicu za prijavu nije llms.txt.

Izvori

Još članaka