Koliko web-mjesta objavljuje llms.txt? Provjerili smo 10.000 domena
Od 10.000 najpopularnijih domena, 12,4% objavljuje llms.txt (1.240), a među onima čija početna stranica odgovara HTML-om to je 16,7%. Veća web-mjesta objavljuju češće. Web-mjesta koja ga objavljuju blokiraju AI crawlere za pretraživanje u 1,4% slučajeva, prema 15,0% za ona koja ga ne objavljuju. Ovo broji samo objavu: ne pokazuje čita li datoteku ijedan AI asistent.
llms.txt je jedna od najraspravljanijih datoteka u AI pretraživanju, a jedna od najmanje izmjerenih. Već smo pročitali robots.txt 10.000 najboljih domena, a u istom prolazu od svake smo zatražili i /llms.txt. Evo što je stiglo.
Na ovoj stranici
Kako smo provjeravali?
Uzeli smo 10.000 najboljih domena s Tranco popisa (ID popisa JZWZY) i 21. studenoga 2026. od svake jednom zatražili /llms.txt, s vlastitim user agentom AISeeWhy, nakon što smo pročitali početnu stranicu i slijedili njezino preusmjeravanje na glavni host.
Domena se računa kao da objavljuje llms.txt kad sam /llms.txt odgovara s 200, neprazan tekstualni sadržaj koji nije HTML stranica, bez preusmjeravanja na neku drugu stranicu, poput prijave ili početne stranice. U ovom prolazu nismo provjeravali format datoteke.
Što smo otkrili?
- 1.240 od 10.000 domena (12,4%) objavljuje
llms.txt. - Popis uključuje CDN-ove i API hostove koji ne poslužuju web-mjesto. Među 7.367 domena čija je početna stranica odgovorila HTML-om, 1.233 (16,7%) ga objavljuje.
- Gotovo sve one poslužuju i robots.txt: 1.229 od 1.240.
Objavljuju li veća web-mjesta češće?
Da, s jasnom razlikom. Web-mjesta (domene čija je početna stranica odgovorila HTML-om) podijelili smo prema Tranco rangu:
- Rangovi od 1 do 1.000: 22,6% objavljuje llms.txt (149 od 658 web-mjesta).
- Rangovi od 1.001 do 3.000: 18,2% (264 od 1.449).
- Rangovi od 3.001 do 10.000: 15,6% (820 od 5.260).
Tko ga objavljuje?
Među 6.192 domene koje poslužuju robots.txt, one koje objavljuju llms.txt razlikuju se od ostalih:
- Blokiraju barem jednog AI crawlera za treniranje u 11,8% slučajeva, prema 26,0% za domene bez llms.txt.
- Blokiraju barem jednog AI crawlera za pretraživanje ili korisničkog crawlera u 1,4% slučajeva, prema 15,0%.
- Koriste redak
Content-Signalu 12,9% slučajeva, prema 4,9%.
Drugim riječima, web-mjesta koja se potrude objaviti llms.txt uglavnom su ona koja AI crawlere već puštaju unutra.
Što ovo ne pokazuje?
Pokazuje povezanost, a ne uzrok. Web-mjesto koje AI vidljivost shvaća ozbiljno može objaviti llms.txt i istodobno držati robots.txt otvorenim; to ne znači da je datoteka napravila razliku. Brojanje mjeri i samo objavu. Ne pokazuje čita li datoteku ijedan AI asistent, a veliki AI crawleri za pretraživanje ne navode da je koriste.
Brojke opisuju pravila za početnu stranicu i datoteku na jednoj adresi u jednom danu, za najpopularnije domene. Manja web-mjesta mogu izgledati drukčije.
Treba li ga objaviti?
Jeftino je i bezopasno: kratak sažetak vašeg web-mjesta u Markdownu i popis vaših najkorisnijih stranica. Neka bude točan i neka mu poveznice rade. Ne smatrajte ga zamjenom za puštanje crawlera unutra: llms.txt na web-mjestu čiji vatrozid odbija crawlera, ili čiji ga robots.txt zabranjuje, nikome ne pomaže.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera i validator llms.txt
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Česta pitanja
Koliki udio web-mjesta ima llms.txt?
Među 10.000 najpopularnijih domena koje smo provjerili, 12,4% ga objavljuje. Među domenama čija početna stranica odgovara HTML-om udio je 16,7%, a veći je za najveća web-mjesta: 22,6% u prvih 1.000.
Dopuštaju li web-mjesta s llms.txt češće AI crawlere?
U našim podacima da: blokiraju AI crawlere za pretraživanje i korisničke crawlere u 1,4% slučajeva, prema 15,0% za web-mjesta bez njega. To je korelacija. Ne pokazuje da datoteka mijenja način na koji crawleri tretiraju web-mjesto.
Pomaže li llms.txt da me AI asistenti citiraju?
Naši podaci to ne mogu reći. Broje koja web-mjesta objavljuju datoteku, a ne koristi li je asistent, a veliki AI crawleri za pretraživanje ne navode da je čitaju. Stranice dostupne crawlerima i otvoren pristup važniji su.
Kako prepoznati ima li web-mjesto pravi llms.txt?
Zatražite /llms.txt i provjerite odgovara li s 200 na toj adresi, s tekstualnim sadržajem koji nije HTML stranica. Preusmjeravanje na početnu stranicu ili stranicu za prijavu nije llms.txt.
Izvori
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers