Câte site-uri publică un llms.txt? Am verificat 10.000 de domenii

Publicat

Răspuns scurt

Dintre cele mai populare 10.000 de domenii, 12,4% publică un llms.txt (1.240), iar 16,7% dintre cele a căror pagină de start răspunde cu HTML. Site-urile mari îl publică mai des. Site-urile care publică unul blochează crawlerele AI de căutare în 1,4% din cazuri, față de 15,0% pentru cele care nu îl publică. Aceasta numără doar publicarea: nu arată dacă vreun asistent AI citește fișierul.

llms.txt este unul dintre cele mai discutate fișiere din căutarea AI și unul dintre cele mai puțin măsurate. Am citit deja robots.txt de pe primele 10.000 de domenii și, în aceeași trecere, am cerut de la fiecare /llms.txt. Iată ce am primit.

Pe această pagină
  1. Cum am verificat?
  2. Ce am găsit?
  3. Publică mai mult site-urile mari?
  4. Cine publică unul?
  5. Ce nu arată aceste date?
  6. Ar trebui să publici unul?

Cum am verificat?

Am luat primele 10.000 de domenii din lista Tranco (ID-ul listei JZWZY) și am cerut /llms.txt o singură dată de la fiecare, pe 21 noiembrie 2026, cu user agent-ul propriu al AISeeWhy, după ce am citit pagina de start și am urmat redirecționarea ei către gazda principală.

Un domeniu contează ca publicând un llms.txt atunci când chiar /llms.txt răspunde cu un 200, cu un conținut text nevid care nu este o pagină HTML și fără redirecționare către altă pagină, cum ar fi una de autentificare sau pagina de start. În această rulare nu am verificat formatul fișierului.

Ce am găsit?

Publică mai mult site-urile mari?

Da, cu o diferență clară. Am împărțit site-urile web (domeniile a căror pagină de start a răspuns cu HTML) după rangul Tranco:

Cine publică unul?

Dintre cele 6.192 de domenii care oferă un robots.txt, cele care publică un llms.txt arată diferit de restul:

Cu alte cuvinte, site-urile care se obosesc să publice un llms.txt sunt în cea mai mare parte cele care deja lasă crawlerele AI să intre.

Ce nu arată aceste date?

Arată o legătură, nu o cauză. Un site care ia în serios vizibilitatea în AI poate publica un llms.txt și poate ține deschis și robots.txt; asta nu înseamnă că fișierul a făcut diferența. Numărătoarea măsoară și doar publicarea. Nu arată dacă vreun asistent AI citește fișierul, iar principalele crawlere AI de căutare nu spun că îl folosesc.

Cifrele descriu regulile paginii de start și fișierul de la o singură adresă, într-o singură zi, pentru cele mai populare domenii. Site-urile mai mici pot arăta altfel.

Ar trebui să publici unul?

Este ieftin și inofensiv: un rezumat scurt în Markdown al site-ului tău și o listă cu cele mai utile pagini. Păstrează-l corect și păstrează linkurile funcționale. Nu îl trata ca pe un înlocuitor pentru a lăsa crawlerele să intre: un llms.txt pe un site al cărui firewall refuză crawlerul sau al cărui robots.txt îl interzice nu ajută pe nimeni.

Instrumente gratuite

Pașii următori

Întrebări frecvente

Ce procent din site-uri au un llms.txt?

Dintre cele mai populare 10.000 de domenii verificate, 12,4% publică unul. Dintre domeniile a căror pagină de start răspunde cu HTML, procentul este 16,7%, iar la cele mai mari site-uri e mai mare: 22,6% în primele 1.000.

Site-urile cu llms.txt permit mai des crawlerele AI?

În datele noastre, da: blochează crawlerele AI de căutare și de utilizator în 1,4% din cazuri, față de 15,0% pentru site-urile fără el. Aceasta este o corelație. Nu arată că fișierul schimbă modul în care crawlerele tratează un site.

Mă ajută un llms.txt să fiu citat de asistenții AI?

Datele noastre nu pot spune. Ele numără ce site-uri publică fișierul, nu dacă un asistent îl folosește, iar principalele crawlere AI de căutare nu afirmă că îl citesc. Paginile accesibile pentru crawlere și accesul deschis contează mai mult.

Cum îmi dau seama dacă un site are un llms.txt real?

Cere /llms.txt și verifică dacă răspunde cu un 200 la acea adresă, cu un conținut text care nu este o pagină HTML. O redirecționare către pagina de start sau către o pagină de autentificare nu este un llms.txt.

Surse

Alte articole