Ի՞նչ է llms.txt-ը, և արժե՞ արդյոք այն ավելացնել
llms.txt-ը առաջարկվող Markdown ֆայլ է /llms.txt հասցեում, որը AI գործիքներին տալիս է ձեր կայքի կարճ ամփոփում և նրա ամենաօգտակար էջերի հղումների ցուցակ։ Դա համայնքային առաջարկ է, ոչ թե ստանդարտ, և խոշոր AI որոնողական ռոբոտները չեն ասում, որ օգտագործում են այն։ Այն ավելացնելը էժան է, բայց այն չի փոխարինում ռոբոտների համար ընթեռնելի HTML-ին։
llms.txt-ը մեծ ուշադրության է արժանանում, հաճախ ներկայացվում է որպես AI-ի robots.txt։ Դա այլ բան է. robots.txt-ը նշում է, թե ինչ կարող են բեռնել ռոբոտները, իսկ llms.txt-ը ընթերցանության ուղեցույց է, որը AI գործիքներին ցույց է տալիս կարդալու արժանի բովանդակությունը։ Ահա թե ինչ է ասում առաջարկը, ինչ է հայտնի դրա օգտագործման մասին և ինչպես գրել այն։
Այս էջում
Որտեղի՞ց է եկել llms.txt-ը
Ջերեմի Հովարդն առաջարկեց /llms.txt ֆայլը 2024-ի սեպտեմբերին, և առաջարկը պահպանվում է llmstxt.org կայքում։ Դրա նպատակն է ստանդարտացնել մեկ ֆայլ, որն օգնում է լեզվական մոդելներին և գործակալներին օգտագործել կայքը հարցման պահին, օրինակ՝ երբ ծրագրավորման օգնականին պետք է գրադարանի փաստաթղթերը, այլ ոչ թե ուսուցման համար։
Գաղափարը պատասխանում է իրական խնդրի։ Վեբ էջերը պարունակում են նավիգացիա, սկրիպտներ, բաններներ և դասավորություն։ Կարճ, ընտրված Markdown ֆայլը՝ հիմնական էջերի մաքուր տարբերակների հղումներով, ավելի հեշտ է մոդելի համար՝ սահմանափակ կոնտեքստային պատուհանի ներսում։
Ի՞նչ է պարունակում llms.txt ֆայլը
Ֆայլը Markdown է՝ ֆիքսված հերթականությամբ։ Պարտադիր է միայն առաջին տարրը.
- H1՝ կայքի կամ նախագծի անունով (պարտադիր)։
- Մեջբերման բլոկ՝ կայքի մասին կարճ ամփոփումով։
- Ըստ ցանկության պարբերություններ կամ ցուցակներ՝ ավելի մանրամասն, առանց վերնագրերի։
- H2 բաժիններ, յուրաքանչյուրը Markdown հղումների ցուցակով
[name](url)ձևով, որին ըստ ցանկության կարող են հաջորդել երկու կետ և նշում։ - Ըստ ցանկության
Optionalանունով բաժին երկրորդական հղումների համար, որոնք գործիքը կարող է բաց թողնել, երբ ավելի քիչ կոնտեքստ է պետք։
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Առաջարկը խորհուրդ է տալիս նաև էջերի Markdown տարբերակներ առաջարկել նույն URL-ով՝ ավելացված .md-ով, օրինակ՝ page.html.md, որպեսզի գործիքները կարողանան մաքուր տեքստ բեռնել։
Ո՞վ է իրականում կարդում llms.txt-ը այսօր
Այստեղ արժե զգույշ լինել։ llmstxt.org կայքն ասում է, որ ֆայլերն ամենաշատն օգտագործվում են ծրագրային փաստաթղթերի համար, որտեղ ծրագրավորման գործակալները հետևում են դրանց։ OpenAI-ը, Anthropic-ը, Google-ը և Perplexity-ն մեր դիտարկած ռոբոտների փաստաթղթերում llms.txt-ը չեն նշում իրենց որոնողական ռոբոտների օգտագործած ազդանշանների մեջ։
Google-ն իր Search-ի գործառույթների համար ավելի հեռու է գնում։ AI Overviews-ի և AI Mode-ի մասին նրա ուղեցույցն ասում է, որ դրանցում հայտնվելու համար պետք չէ ստեղծել նոր մեքենայաընթեռնելի ֆայլեր, AI տեքստային ֆայլեր կամ նշագրում։ Google Search-ի համար llms.txt-ը նշված դեր չունի։
Այսպիսով, ազնիվ պատասխանն այսպիսին է. որոշ AI գործիքներ, հիմնականում ծրագրավորման օգնականներ և կայքին ուղղված գործակալներ, կարող են կարդալ այն։ Այն ռոբոտները, որոնք որոշում են, թե արդյոք AI որոնումը կմեջբերի ձեր էջը, աշխատում են ձեր HTML-ով։
Կարող եք ինքներդ տեսնել, թե արդյոք որևէ բան կարդում է ձեր ֆայլը։ Ձեր սերվերի կամ CDN-ի լոգերում փնտրեք /llms.txt-ի հարցումները և նայեք user agent-ներին։ Եթե մի քանի շաբաթվա ընթացքում հարցումներ չեն հայտնվում, դա ձեր կայքի համար դրա արժեքի մասին ավելին է ասում, քան ցանկացած ընդհանուր պնդում։
Արժե՞ այնուամենայնիվ ավելացնել այն
Կայքերի մեծ մասի համար դա ցածր արժեքով և ցածր որոշակիությամբ հավելում է։ Այն պահանջում է մի քանի րոպե, չի կարող վնասել ձեր տեսանելիությանը որոնման մեջ և կարող է օգնել գործակալներին, որոնք փնտրում են այն։ Այն առավել օգտակար է փաստաթղթերի, ծրագրավորողների գործիքների և շատ տեղեկատու նյութ ունեցող արտադրանքների համար։
Այն, ինչ այն չի կարող անել, հասանելիության խնդիրներ ուղղելն է։ Եթե ֆայրվոլն արգելափակում է AI ռոբոտներին, ձեր robots.txt-ն արգելում է նրանց, կամ ձեր բովանդակությունը հայտնվում է միայն JavaScript-ի գործարկումից հետո, llms.txt-ը ոչինչ չի փոխում։ Նախ ուղղեք դրանք։
Ինչպե՞ս գրել լավ llms.txt
- Տեղադրեք այն
https://yourdomain.com/llms.txtհասցեում և մատուցեք որպես պարզ տեքստ 200 կարգավիճակով, ոչ թե HTML էջ։ - Գրեք ամփոփումն այնպես, ինչպես կբացատրեիք կայքը նոր գործընկերոջը երկու նախադասությամբ. ինչ է այն, ում համար է։
- Նշեք այն էջերը, որոնք պատասխանում են իրական հարցերի. արտադրանք, գներ, փաստաթղթեր, քաղաքականություններ։ Բաց թողեք թեգերի էջերը և արխիվները։
- Օգտագործեք բացարձակ URL-ներ և ցուցակը պահեք բավական կարճ, որ օգտակար մնա. կայքերի մեծ մասի համար մի քանի տասնյակ հղումը բավական է։
- Պահեք այն արդիական։ Հեռացված էջերին հղող ֆայլն ավելի վատ է, քան դրա բացակայությունը։
- Մի օգտագործեք այն թույլտվություններ նշելու համար։ Մուտքի կանոնները պատկանում են robots.txt-ին։
Ինչպե՞ս է AISeeWhy-ն վերաբերվում llms.txt-ին
AISeeWhy-ն ստուգում է, թե արդյոք ձեր կայքն ունի llms.txt, և արդյոք ստուգվող էջը նշված է դրանում։ Քանի որ այսօր AI ռոբոտները հազվադեպ են այն կարդում, բացակայող ֆայլը P3 բացահայտում է՝ ամենացածր առաջնահերթությունը, և հաշվետվությունը ներառում է ձեր էջի վերնագրից, նկարագրությունից և sitemap-ից կազմված սևագիր, որը կարող եք խմբագրել և հրապարակել։
Այս խնդրի ուղղումները
- Գործակալների հայտնաբերման ֆայլը հնարավոր չէ կարդալ
- Գործակալների համար Markdown տարբերակը չի աշխատում
- Markdown պատասխան առանց Vary: Accept-ի
- AI գործակալների համար Markdown տարբերակ չկա
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- llms.txt-ի ստուգիչ և վավերացնող
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Արդյո՞ք llms.txt-ը պաշտոնական ստանդարտ է
Ոչ։ Դա համայնքային առաջարկ է, որը հրապարակված է llmstxt.org կայքում։ Այն IETF-ի կամ W3C-ի ստանդարտ չէ, և ոչ մի AI մատակարար պարտավոր չէ կարդալ այն։
Արդյո՞ք llms.txt-ն արգելափակում է AI ուսուցումը
Ոչ։ Դա հղումների ցուցակ է, ոչ թե թույլտվությունների հավաքածու։ Ուսուցումից հրաժարվելու համար օգտագործեք ուսուցման նշանները robots.txt-ում, ինչպիսիք են GPTBot, ClaudeBot կամ Google-Extended։
Արդյո՞ք llms.txt է պետք Google AI Overviews-ում հայտնվելու համար
Ոչ։ Google-ն ասում է, որ AI Overviews-ում կամ AI Mode-ում հայտնվելու համար AI տեքստային ֆայլեր կամ հատուկ նշագրում պետք չեն։ Էջը պետք է ինդեքսավորված լինի և կարողանա snippet ցուցադրել։
Կարո՞ղ է llms.txt-ը գտնվել ենթաթղթապանակում
Առաջարկի ընթացիկ տարբերակը թույլ է տալիս ֆայլ ենթաուղում, օրինակ՝ /docs/llms.txt, որն ընդգրկում է այդ ուղու տակի էջերը։ Կայքերի մեծ մասին պետք է միայն մեկ ֆայլ արմատում։
Աղբյուրներ
- llmstxt.org: /llms.txt ֆայլը
- Google Search Central: AI գործառույթները և ձեր կայքը
- OpenAI: OpenAI-ի ռոբոտների ակնարկ