Ilang site ang naglalathala ng llms.txt? Sinuri namin ang 10,000 domain
Sa 10,000 pinakasikat na domain, 12.4% ang naglalathala ng llms.txt (1,240), at 16.7% ng mga ang home page ay sumasagot ng HTML. Mas madalas maglathala ang mas malalaking site. Ang mga site na may llms.txt ay humaharang sa AI search crawler sa 1.4% ng mga kaso, kumpara sa 15.0% ng mga site na wala. Paglalathala lang ang binibilang nito: hindi nito ipinapakita kung binabasa ng anumang AI assistant ang file.
Ang llms.txt ay isa sa mga pinakapinag-uusapang file sa AI search, at isa sa mga pinakakaunting nasusukat. Binasa na namin ang robots.txt ng top 10,000 domain, at sa parehong pagpapatakbo ay hiningi namin sa bawat isa ang /llms.txt. Ito ang bumalik.
Sa pahinang ito
Paano namin sinuri?
Kinuha namin ang top 10,000 domain ng listahan ng Tranco (list ID JZWZY) at isang beses naming ni-request ang /llms.txt mula sa bawat isa noong 21 Nobyembre 2026, gamit ang sariling user agent ng AISeeWhy, pagkatapos basahin ang home page at sundan ang redirect nito papunta sa pangunahing host.
Ibinibilang na naglalathala ng llms.txt ang isang domain kapag ang /llms.txt mismo ay sumasagot ng 200, may hindi-walang-lamang text body na hindi HTML page, at walang redirect sa ibang page gaya ng login o home page. Hindi namin sinuri ang format ng file sa pagpapatakbong ito.
Ano ang natuklasan namin?
- 1,240 sa 10,000 domain (12.4%) ang naglalathala ng
llms.txt. - Kasama sa listahan ang mga CDN at API host na walang inihahaing website. Sa 7,367 domain na ang home page ay sumagot ng HTML, 1,233 (16.7%) ang naglalathala nito.
- Halos lahat sa kanila ay may inihahain ding robots.txt: 1,229 sa 1,240.
Mas madalas bang maglathala ang mas malalaking site?
Oo, na malinaw ang agwat. Hinati namin ang mga website (mga domain na ang home page ay sumagot ng HTML) ayon sa ranggo sa Tranco:
- Ranggo 1 hanggang 1,000: 22.6% ang naglalathala ng llms.txt (149 sa 658 website).
- Ranggo 1,001 hanggang 3,000: 18.2% (264 sa 1,449).
- Ranggo 3,001 hanggang 10,000: 15.6% (820 sa 5,260).
Sino ang naglalathala nito?
Sa 6,192 domain na may inihahaing robots.txt, iba ang hitsura ng mga naglalathala ng llms.txt kumpara sa iba:
- Humaharang sila sa kahit isang AI training crawler sa 11.8% ng pagkakataon, kumpara sa 26.0% para sa mga domain na walang llms.txt.
- Humaharang sila sa kahit isang AI search o user crawler sa 1.4% ng pagkakataon, kumpara sa 15.0%.
- Gumagamit sila ng linyang
Content-Signalsa 12.9% ng pagkakataon, kumpara sa 4.9%.
Sa madaling salita, ang mga site na nag-aabala pang maglathala ng llms.txt ay karamihan sa mga site na pumapayag na sa mga AI crawler.
Ano ang hindi ipinapakita nito?
Ipinapakita nito ang ugnayan, hindi ang sanhi. Ang site na seryoso sa AI visibility ay maaaring maglathala ng llms.txt at panatilihin ding bukas ang robots.txt; hindi iyon nangangahulugang ang file ang nagdulot ng kaibahan. Paglalathala lang din ang sinusukat ng bilang. Hindi nito ipinapakita kung binabasa ng anumang AI assistant ang file, at hindi sinasabi ng mga pangunahing AI search crawler na ginagamit nila ito.
Inilalarawan ng mga numero ang mga rule sa home page at ang file sa iisang address sa isang araw, para sa mga pinakasikat na domain. Maaaring iba ang hitsura ng mas maliliit na site.
Dapat ka bang maglathala nito?
Mura at hindi nakakapinsala ito: isang maikling Markdown na buod ng site mo at listahan ng pinakamakakatulong mong mga page. Panatilihin itong tumpak at gumagana ang mga link nito. Huwag ituring itong kapalit ng pagpapapasok sa mga crawler: ang llms.txt sa site na ang firewall ay tumatanggi sa crawler, o ang robots.txt ay nagbabawal dito, ay hindi makakatulong kaninuman.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- llms.txt checker at validator
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga madalas itanong
Ilang porsyento ng mga website ang may llms.txt?
Sa 10,000 pinakasikat na domain na sinuri namin, 12.4% ang naglalathala nito. Sa mga domain na ang home page ay sumasagot ng HTML, 16.7% ang bahagdan, at mas mataas ito sa pinakamalalaking site: 22.6% sa top 1,000.
Mas madalas bang pumayag sa AI crawler ang mga site na may llms.txt?
Sa data namin, oo: humaharang sila sa mga AI search at user crawler sa 1.4% ng mga kaso kumpara sa 15.0% ng mga site na wala. Ugnayan ito. Hindi nito ipinapakita na binabago ng file ang pagtrato ng mga crawler sa isang site.
Nakakatulong ba ang llms.txt para masipi ako ng mga AI assistant?
Hindi ito masasabi ng data namin. Binibilang nito kung aling mga site ang naglalathala ng file, hindi kung ginagamit ito ng assistant, at hindi sinasabi ng mga pangunahing AI search crawler na binabasa nila ito. Mas mahalaga ang mga page na maaaring i-crawl at bukas na access.
Paano malalaman kung totoong llms.txt ang meron ang isang site?
I-request ang /llms.txt at tiyaking sumasagot ito ng 200 sa address na iyon, na may text body na hindi HTML page. Ang redirect sa home page o login page ay hindi llms.txt.
Mga pinagmulan
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers