Tovuti ngapi huchapisha llms.txt? Tulikagua vikoa 10,000
Kati ya vikoa 10,000 maarufu zaidi, 12.4% huchapisha llms.txt (1,240), na 16.7% ya vile ambavyo ukurasa wa mwanzo hujibu kwa HTML. Tovuti kubwa huchapisha mara nyingi zaidi. Tovuti zinazochapisha moja huzuia roboti za utafutaji wa AI kwenye 1.4% ya visa, ikilinganishwa na 15.0% kwa tovuti zisizochapisha. Hii inahesabu uchapishaji tu: haionyeshi kama msaidizi yeyote wa AI husoma faili hiyo.
llms.txt ni mojawapo ya faili zinazojadiliwa zaidi katika utafutaji wa AI, na mojawapo ya zilizopimwa kidogo zaidi. Tayari tulisoma robots.txt ya vikoa 10,000 vya juu, na katika mzunguko uleule tuliomba /llms.txt kutoka kila kimoja. Hiki ndicho kilichorudi.
Kwenye ukurasa huu
Tulikaguaje?
Tulichukua vikoa 10,000 vya juu vya orodha ya Tranco (ID ya orodha JZWZY) na tukaomba /llms.txt mara moja kutoka kila kimoja tarehe 21 Novemba 2026, kama user agent ya AISeeWhy yenyewe, baada ya kusoma ukurasa wa mwanzo na kufuata uelekezaji wake hadi mwenyeji mkuu.
Kikoa huhesabiwa kuwa kinachapisha llms.txt wakati /llms.txt yenyewe inajibu kwa 200, mwili wa maandishi usio tupu ambao si ukurasa wa HTML, na bila uelekezaji kwenda ukurasa mwingine kama wa kuingia au ukurasa wa mwanzo. Hatukukagua umbizo la faili katika mzunguko huu.
Tuligundua nini?
- Vikoa 1,240 kati ya 10,000 (12.4%) huchapisha
llms.txt. - Orodha inajumuisha CDN na wenyeji wa API wasiotoa tovuti. Kati ya vikoa 7,367 ambavyo ukurasa wa mwanzo ulijibu kwa HTML, 1,233 (16.7%) huchapisha moja.
- Karibu vyote pia hutoa robots.txt: 1,229 kati ya 1,240.
Je, tovuti kubwa huchapisha zaidi?
Ndiyo, kwa tofauti iliyo wazi. Tuligawa tovuti (vikoa ambavyo ukurasa wa mwanzo ulijibu kwa HTML) kwa nafasi ya Tranco:
- Nafasi 1 hadi 1,000: 22.6% huchapisha llms.txt (tovuti 149 kati ya 658).
- Nafasi 1,001 hadi 3,000: 18.2% (264 kati ya 1,449).
- Nafasi 3,001 hadi 10,000: 15.6% (820 kati ya 5,260).
Nani huchapisha moja?
Kati ya vikoa 6,192 vinavyotoa robots.txt, vile vinavyochapisha llms.txt vinaonekana tofauti na vingine:
- Huzuia angalau roboti moja ya mafunzo ya AI kwa 11.8% ya wakati, ikilinganishwa na 26.0% kwa vikoa visivyo na llms.txt.
- Huzuia angalau roboti moja ya utafutaji au ya mtumiaji ya AI kwa 1.4% ya wakati, ikilinganishwa na 15.0%.
- Hutumia mstari wa
Content-Signalkwa 12.9% ya wakati, ikilinganishwa na 4.9%.
Kwa maneno mengine, tovuti zinazojitahidi kuchapisha llms.txt kwa kiasi kikubwa ni zile ambazo tayari huruhusu roboti za AI kuingia.
Hii haionyeshi nini?
Inaonyesha uhusiano, si sababu. Tovuti inayochukulia mwonekano wa AI kwa uzito inaweza kuchapisha llms.txt na pia kuweka robots.txt wazi; hilo halimaanishi faili ndiyo iliyoleta tofauti. Hesabu pia inapima uchapishaji tu. Haionyeshi kama msaidizi yeyote wa AI husoma faili hiyo, na roboti kuu za utafutaji wa AI hazisemi kwamba zinaitumia.
Namba zinaelezea kanuni za ukurasa wa mwanzo na faili kwenye anwani moja kwa siku moja, kwa vikoa maarufu zaidi. Tovuti ndogo zinaweza kuonekana tofauti.
Je, unapaswa kuchapisha moja?
Ni rahisi na haina madhara: muhtasari mfupi wa Markdown wa tovuti yako na orodha ya kurasa zako muhimu zaidi. Iweke sahihi na viungo vyake vifanye kazi. Usiichukulie kama mbadala wa kuziruhusu roboti kuingia: llms.txt kwenye tovuti ambayo ngome yake inakataa roboti, au ambayo robots.txt yake inaikataza, haimsaidii yeyote.
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Kikagua na kithibitishaji cha llms.txt
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Maswali yanayoulizwa mara kwa mara
Ni asilimia ngapi ya tovuti zina llms.txt?
Kati ya vikoa 10,000 maarufu zaidi tulivyokagua, 12.4% huchapisha moja. Kati ya vikoa ambavyo ukurasa wa mwanzo hujibu kwa HTML, sehemu ni 16.7%, na ni kubwa zaidi kwa tovuti kubwa zaidi: 22.6% katika 1,000 za juu.
Je, tovuti zenye llms.txt huruhusu roboti za AI mara nyingi zaidi?
Katika data yetu, ndiyo: huzuia roboti za utafutaji na za mtumiaji za AI kwenye 1.4% ya visa ikilinganishwa na 15.0% kwa tovuti zisizo nayo. Huu ni uhusiano tu. Hauonyeshi kwamba faili hubadilisha jinsi roboti zinavyoitendea tovuti.
Je, llms.txt inanisaidia kunukuliwa na wasaidizi wa AI?
Data yetu haiwezi kusema. Inahesabu tovuti zipi huchapisha faili, si kama msaidizi anaitumia, na roboti kuu za utafutaji wa AI hazisemi kwamba zinaisoma. Kurasa zinazoweza kutambaliwa na ufikiaji wazi ni muhimu zaidi.
Unajuaje kama tovuti ina llms.txt halisi?
Omba /llms.txt na uhakikishe kwamba inajibu kwa 200 kwenye anwani hiyo, ikiwa na mwili wa maandishi usio ukurasa wa HTML. Uelekezaji kwenda ukurasa wa mwanzo au wa kuingia si llms.txt.
Vyanzo
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers