Sa sajte publikojnë një llms.txt? Kontrolluam 10 000 domene
Nga 10 000 domenet më të popullarizuara, 12,4% publikojnë një llms.txt (1 240), dhe 16,7% e atyre faqja kryesore e të cilëve përgjigjet me HTML. Sajtet më të mëdhenj publikojnë më shpesh. Sajtet që publikojnë një bllokojnë crawlerat e kërkimit të AI në 1,4% të rasteve, kundrejt 15,0% për sajtet që nuk e bëjnë. Kjo numëron vetëm publikimin: nuk tregon nëse ndonjë asistent i AI e lexon skedarin.
llms.txt është një nga skedarët më të diskutuar në kërkimin me AI, dhe një nga më pak të matur. Tashmë lexuam robots.txt të 10 000 domeneve të para, dhe në të njëjtën kalim i kërkuam secilit /llms.txt. Ja çfarë u kthye.
Në këtë faqe
Si e kontrolluam?
Morëm 10 000 domenet e para të listës Tranco (ID e listës JZWZY) dhe kërkuam /llms.txt një herë nga secili më 21 nëntor 2026, me user agent-in e vetë AISeeWhy, pasi lexuam faqen kryesore dhe ndoqëm ridrejtimin e saj te hosti kryesor.
Një domen llogaritet se publikon një llms.txt kur vetë /llms.txt përgjigjet me 200, një trup teksti jo bosh që nuk është faqe HTML, dhe pa ridrejtim te ndonjë faqe tjetër si hyrja ose faqja kryesore. Në këtë ekzekutim nuk e kontrolluam formatin e skedarit.
Çfarë gjetëm?
- 1 240 nga 10 000 domenet (12,4%) publikojnë një
llms.txt. - Lista përfshin CDN dhe hoste API që nuk shërbejnë asnjë sajt. Ndër 7 367 domenet faqja kryesore e të cilëve u përgjigj me HTML, 1 233 (16,7%) publikojnë një.
- Pothuajse të gjithë shërbejnë edhe një robots.txt: 1 229 nga 1 240.
A publikojnë më shumë sajtet më të mëdhenj?
Po, me diferencë të qartë. I ndamë sajtet (domenet faqja kryesore e të cilëve u përgjigj me HTML) sipas renditjes Tranco:
- Vendet 1 deri 1 000: 22,6% publikojnë një llms.txt (149 nga 658 sajte).
- Vendet 1 001 deri 3 000: 18,2% (264 nga 1 449).
- Vendet 3 001 deri 10 000: 15,6% (820 nga 5 260).
Kush publikon një?
Ndër 6 192 domenet që shërbejnë një robots.txt, ata që publikojnë një llms.txt dallojnë nga të tjerët:
- Bllokojnë të paktën një crawler trajnimi të AI në 11,8% të rasteve, kundrejt 26,0% për domenet pa llms.txt.
- Bllokojnë të paktën një crawler kërkimi ose përdoruesi të AI në 1,4% të rasteve, kundrejt 15,0%.
- Përdorin një rresht
Content-Signalnë 12,9% të rasteve, kundrejt 4,9%.
Me fjalë të tjera, sajtet që mundohen të publikojnë një llms.txt janë kryesisht sajtet që tashmë i lënë crawlerat e AI të hyjnë.
Çfarë nuk tregon kjo?
Tregon një lidhje, jo një shkak. Një sajt që e merr seriozisht dukshmërinë në AI mund të publikojë një llms.txt dhe ta mbajë edhe robots.txt të hapur; kjo nuk do të thotë se skedari bëri dallimin. Numërimi mat gjithashtu vetëm publikimin. Nuk tregon nëse ndonjë asistent i AI e lexon skedarin, dhe crawlerat kryesorë të kërkimit të AI nuk thonë se e përdorin.
Numrat përshkruajnë rregullat e faqes kryesore dhe skedarin në një adresë në një ditë, për domenet më të popullarizuara. Sajtet më të vegjël mund të duken ndryshe.
A duhet të publikosh një?
Është i lirë dhe i padëmshëm: një përmbledhje e shkurtër në Markdown e sajtit tënd dhe një listë e faqeve më të dobishme. Mbaje të saktë dhe mbaji lidhjet funksionale. Mos e trajto si zëvendësim të lejimit të crawlerave: një llms.txt në një sajt firewall-i i të cilit e refuzon crawlerin, ose robots.txt i të cilit e ndalon, nuk i ndihmon askujt.
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolluesi dhe validuesi i llms.txt
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Pyetje të shpeshta
Sa për qind e sajteve kanë një llms.txt?
Ndër 10 000 domenet më të popullarizuara që kontrolluam, 12,4% publikojnë një. Ndër domenet faqja kryesore e të cilëve përgjigjet me HTML pjesa është 16,7%, dhe është më e lartë për sajtet më të mëdhenj: 22,6% në 1 000 të parët.
A i lejojnë më shpesh crawlerat e AI sajtet me llms.txt?
Në të dhënat tona, po: bllokojnë crawlerat e kërkimit dhe të përdoruesit të AI në 1,4% të rasteve kundrejt 15,0% për sajtet pa të. Kjo është korrelacion. Nuk tregon se skedari e ndryshon mënyrën si crawlerat e trajtojnë një sajt.
A më ndihmon llms.txt të citohem nga asistentët e AI?
Të dhënat tona nuk mund ta thonë. Numërojnë cilët sajte e publikojnë skedarin, jo nëse një asistent e përdor, dhe crawlerat kryesorë të kërkimit të AI nuk thonë se e lexojnë. Faqet e crawlueshme dhe qasja e hapur kanë më shumë rëndësi.
Si e dallon nëse një sajt ka një llms.txt të vërtetë?
Kërko /llms.txt dhe kontrollo që përgjigjet me 200 në atë adresë, me një trup teksti që nuk është faqe HTML. Një ridrejtim te faqja kryesore ose një faqe hyrjeje nuk është llms.txt.
Burimet
- llmstxt.org: Skedari /llms.txt
- AISeeWhy: Raporti i qasjes së crawlerave të AI, 2026-11
- Tranco: një renditje sajtesh e orientuar drejt kërkimit
- Google Search Central: Veçoritë e AI dhe sajti yt
- OpenAI: Pasqyrë e crawlerave të OpenAI