Քանի՞ կայք է հրապարակում llms.txt։ Ստուգեցինք 10 000 դոմեն
10 000 ամենահայտնի դոմեններից 12,4%-ը հրապարակում է llms.txt (1240), իսկ գլխավոր էջը HTML-ով պատասխանողների մեջ՝ 16,7%-ը։ Ավելի մեծ կայքերն ավելի հաճախ են հրապարակում։ Այն կայքերը, որոնք հրապարակում են, AI որոնման կրաուլերներին արգելափակում են դեպքերի 1,4%-ում, իսկ չհրապարակողները՝ 15,0%-ում։ Սա հաշվում է միայն հրապարակումը և չի ցույց տալիս՝ որևէ AI օգնական կարդո՞ւմ է ֆայլը։
llms.txt-ը AI որոնման ամենաշատ քննարկվող ֆայլերից մեկն է և ամենաքիչ չափվածներից մեկը։ Մենք արդեն կարդացել էինք լավագույն 10 000 դոմենների robots.txt-ը, և նույն անցումով յուրաքանչյուրից հարցրինք նաև /llms.txt։ Ահա ստացածը։
Այս էջում
Ինչպես ստուգեցինք
Մենք վերցրինք Tranco ցանկի լավագույն 10 000 դոմենները (ցանկի ID՝ JZWZY) և 2026 թվականի նոյեմբերի 21-ին յուրաքանչյուրից մեկ անգամ հարցրինք /llms.txt՝ AISeeWhy-ի սեփական user agent-ով, գլխավոր էջը կարդալուց և հիմնական հոսթին վերահասցեավորմանը հետևելուց հետո։
Դոմենը համարվում է llms.txt հրապարակող, երբ հենց /llms.txt-ը պատասխանում է 200-ով, տեքստային ոչ դատարկ մարմնով, որը HTML էջ չէ, և առանց վերահասցեավորման դեպի որևէ այլ էջ, օրինակ՝ մուտքի էջ կամ գլխավոր էջ։ Այս անգամ ֆայլի ձևաչափը չստուգեցինք։
Ինչ գտանք
- 10 000 դոմեններից 1240-ը (12,4%) հրապարակում է
llms.txt։ - Ցանկում կան CDN-ներ և API հոսթեր, որոնք կայք չեն սպասարկում։ Գլխավոր էջը HTML-ով պատասխանած 7 367 դոմենների մեջ 1233-ը (16,7%) հրապարակում է այն։
- Դրանցից գրեթե բոլորը տրամադրում են նաև robots.txt. 1240-ից՝ 1229-ը։
Մեծ կայքերն ավելի շա՞տ են հրապարակում
Այո, ակնհայտ տարբերությամբ։ Կայքերը (դոմեններ, որոնց գլխավոր էջը պատասխանել է HTML-ով) բաժանեցինք ըստ Tranco դիրքի․
- 1–1000 դիրքեր. 22,6%-ը հրապարակում է llms.txt (658 կայքից 149-ը)։
- 1001–3000 դիրքեր. 18,2% (1449-ից 264-ը)։
- 3001–10 000 դիրքեր. 15,6% (5260-ից 820-ը)։
Ովքեր են հրապարակում
robots.txt տրամադրող 6 192 դոմենների մեջ llms.txt հրապարակողները տարբերվում են մյուսներից․
- Նրանք առնվազն մեկ AI ուսուցման կրաուլեր արգելափակում են դեպքերի 11,8%-ում, իսկ llms.txt չունեցող դոմենները՝ 26,0%-ում։
- Առնվազն մեկ AI որոնման կամ օգտատիրոջ կրաուլեր արգելափակում են դեպքերի 1,4%-ում, մյուսները՝ 15,0%-ում։
Content-Signalտող օգտագործում են դեպքերի 12,9%-ում, մյուսները՝ 4,9%-ում։
Այլ խոսքով՝ llms.txt հրապարակելու համար ջանք գործադրող կայքերը հիմնականում այն կայքերն են, որոնք արդեն իսկ թույլ են տալիս AI կրաուլերներին։
Ինչ չի ցույց տալիս սա
Սա ցույց է տալիս կապ, ոչ թե պատճառ։ AI տեսանելիությունը լուրջ ընդունող կայքը կարող է հրապարակել llms.txt և նաև բաց պահել իր robots.txt-ը. դա չի նշանակում, որ ֆայլն է փոփոխություն առաջացրել։ Հաշվարկը չափում է նաև միայն հրապարակումը։ Այն չի ցույց տալիս՝ որևէ AI օգնական կարդո՞ւմ է ֆայլը, իսկ AI որոնման խոշոր կրաուլերները չեն ասում, որ օգտագործում են այն։
Թվերը նկարագրում են գլխավոր էջի կանոնները և ֆայլը մեկ հասցեում՝ մեկ օրվա ընթացքում, ամենահայտնի դոմենների համար։ Փոքր կայքերը կարող են այլ տեսք ունենալ։
Արժե՞ արդյոք հրապարակել
Դա էժան է և անվնաս. ձեր կայքի կարճ Markdown ամփոփում և ամենաօգտակար էջերի ցանկ։ Պահեք այն ճշգրիտ, իսկ հղումները՝ աշխատող։ Մի դիտարկեք այն որպես կրաուլերներին թույլ տալու փոխարինող. llms.txt այն կայքում, որի firewall-ը մերժում է կրաուլերին կամ որի robots.txt-ը արգելում է այն, ոչ մեկին չի օգնում։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- llms.txt-ի ստուգիչ և վավերացնող
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Հաճախ տրվող հարցեր
Կայքերի որ մասն ունի llms.txt
Մեր ստուգած 10 000 ամենահայտնի դոմենների մեջ 12,4%-ը հրապարակում է այն։ Գլխավոր էջը HTML-ով պատասխանող դոմենների մեջ բաժինը 16,7% է, իսկ ամենամեծ կայքերի դեպքում ավելի բարձր է. լավագույն 1000-ում՝ 22,6%։
llms.txt ունեցող կայքերն ավելի հաճա՞խ են թույլատրում AI կրաուլերներին
Մեր տվյալներով՝ այո. նրանք AI որոնման և օգտատիրոջ կրաուլերներին արգելափակում են դեպքերի 1,4%-ում, իսկ առանց դրա կայքերը՝ 15,0%-ում։ Սա կորելյացիա է։ Այն չի ապացուցում, որ ֆայլը փոխում է կրաուլերների վերաբերմունքը կայքի նկատմամբ։
llms.txt-ն օգնո՞ւմ է, որ AI օգնականները մեջբերեն ինձ
Մեր տվյալները դա չեն կարող ասել։ Դրանք հաշվում են՝ որ կայքերն են հրապարակում ֆայլը, ոչ թե օգտագործո՞ւմ է արդյոք այն որևէ օգնական, իսկ AI որոնման խոշոր կրաուլերները չեն նշում, որ կարդում են այն։ Ավելի կարևոր են կրաուլինգի համար հասանելի էջերը և բաց հասանելիությունը։
Ինչպես իմանալ, որ կայքն իսկական llms.txt ունի
Հարցրեք /llms.txt և ստուգեք, որ այդ հասցեում այն պատասխանում է 200-ով՝ տեքստային մարմնով, որը HTML էջ չէ։ Վերահասցեավորումը դեպի գլխավոր էջ կամ մուտքի էջ llms.txt չէ։
Աղբյուրներ
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers