Sa sajte publikojnë një llms.txt? Kontrolluam 10 000 domene

Publikuar

Përgjigje e shkurtër

Nga 10 000 domenet më të popullarizuara, 12,4% publikojnë një llms.txt (1 240), dhe 16,7% e atyre faqja kryesore e të cilëve përgjigjet me HTML. Sajtet më të mëdhenj publikojnë më shpesh. Sajtet që publikojnë një bllokojnë crawlerat e kërkimit të AI në 1,4% të rasteve, kundrejt 15,0% për sajtet që nuk e bëjnë. Kjo numëron vetëm publikimin: nuk tregon nëse ndonjë asistent i AI e lexon skedarin.

llms.txt është një nga skedarët më të diskutuar në kërkimin me AI, dhe një nga më pak të matur. Tashmë lexuam robots.txt të 10 000 domeneve të para, dhe në të njëjtën kalim i kërkuam secilit /llms.txt. Ja çfarë u kthye.

Në këtë faqe
  1. Si e kontrolluam?
  2. Çfarë gjetëm?
  3. A publikojnë më shumë sajtet më të mëdhenj?
  4. Kush publikon një?
  5. Çfarë nuk tregon kjo?
  6. A duhet të publikosh një?

Si e kontrolluam?

Morëm 10 000 domenet e para të listës Tranco (ID e listës JZWZY) dhe kërkuam /llms.txt një herë nga secili më 21 nëntor 2026, me user agent-in e vetë AISeeWhy, pasi lexuam faqen kryesore dhe ndoqëm ridrejtimin e saj te hosti kryesor.

Një domen llogaritet se publikon një llms.txt kur vetë /llms.txt përgjigjet me 200, një trup teksti jo bosh që nuk është faqe HTML, dhe pa ridrejtim te ndonjë faqe tjetër si hyrja ose faqja kryesore. Në këtë ekzekutim nuk e kontrolluam formatin e skedarit.

Çfarë gjetëm?

A publikojnë më shumë sajtet më të mëdhenj?

Po, me diferencë të qartë. I ndamë sajtet (domenet faqja kryesore e të cilëve u përgjigj me HTML) sipas renditjes Tranco:

Kush publikon një?

Ndër 6 192 domenet që shërbejnë një robots.txt, ata që publikojnë një llms.txt dallojnë nga të tjerët:

Me fjalë të tjera, sajtet që mundohen të publikojnë një llms.txt janë kryesisht sajtet që tashmë i lënë crawlerat e AI të hyjnë.

Çfarë nuk tregon kjo?

Tregon një lidhje, jo një shkak. Një sajt që e merr seriozisht dukshmërinë në AI mund të publikojë një llms.txt dhe ta mbajë edhe robots.txt të hapur; kjo nuk do të thotë se skedari bëri dallimin. Numërimi mat gjithashtu vetëm publikimin. Nuk tregon nëse ndonjë asistent i AI e lexon skedarin, dhe crawlerat kryesorë të kërkimit të AI nuk thonë se e përdorin.

Numrat përshkruajnë rregullat e faqes kryesore dhe skedarin në një adresë në një ditë, për domenet më të popullarizuara. Sajtet më të vegjël mund të duken ndryshe.

A duhet të publikosh një?

Është i lirë dhe i padëmshëm: një përmbledhje e shkurtër në Markdown e sajtit tënd dhe një listë e faqeve më të dobishme. Mbaje të saktë dhe mbaji lidhjet funksionale. Mos e trajto si zëvendësim të lejimit të crawlerave: një llms.txt në një sajt firewall-i i të cilit e refuzon crawlerin, ose robots.txt i të cilit e ndalon, nuk i ndihmon askujt.

Mjete falas

Hapat e radhës

Pyetje të shpeshta

Sa për qind e sajteve kanë një llms.txt?

Ndër 10 000 domenet më të popullarizuara që kontrolluam, 12,4% publikojnë një. Ndër domenet faqja kryesore e të cilëve përgjigjet me HTML pjesa është 16,7%, dhe është më e lartë për sajtet më të mëdhenj: 22,6% në 1 000 të parët.

A i lejojnë më shpesh crawlerat e AI sajtet me llms.txt?

Në të dhënat tona, po: bllokojnë crawlerat e kërkimit dhe të përdoruesit të AI në 1,4% të rasteve kundrejt 15,0% për sajtet pa të. Kjo është korrelacion. Nuk tregon se skedari e ndryshon mënyrën si crawlerat e trajtojnë një sajt.

A më ndihmon llms.txt të citohem nga asistentët e AI?

Të dhënat tona nuk mund ta thonë. Numërojnë cilët sajte e publikojnë skedarin, jo nëse një asistent e përdor, dhe crawlerat kryesorë të kërkimit të AI nuk thonë se e lexojnë. Faqet e crawlueshme dhe qasja e hapur kanë më shumë rëndësi.

Si e dallon nëse një sajt ka një llms.txt të vërtetë?

Kërko /llms.txt dhe kontrollo që përgjigjet me 200 në atë adresë, me një trup teksti që nuk është faqe HTML. Një ridrejtim te faqja kryesore ose një faqe hyrjeje nuk është llms.txt.

Burimet

Më shumë artikuj