llms.txt деген не және оны қосудың мәні бар ма?

Жарияланды

Қысқа жауап

llms.txt — /llms.txt мекенжайындағы ұсынылған Markdown файлы, ол ЖИ құралдарына сайтыңыздың қысқаша сипаттамасын және ең пайдалы беттеріне сілтемелер тізімін береді. Бұл стандарт емес, қауымдастық ұсынысы, және ірі ЖИ іздеу краулерлері оны пайдаланатынын айтпайды. Оны қосу оңай, бірақ ол краулер оқи алатын HTML-ді алмастырмайды.

llms.txt көп назар аударады, оны көбіне ЖИ-дің robots.txt-і ретінде таныстырады. Бұл басқа нәрсе: robots.txt краулерлер нені ала алатынын көрсетеді, ал llms.txt — ЖИ құралдарын оқуға тұрарлық мазмұнға бағыттайтын оқу нұсқаулығы. Төменде ұсыныстың не дейтіні, оны пайдалану туралы не белгілі екені және оны қалай жазу керектігі берілген.

Осы бетте
  1. llms.txt қайдан шықты?
  2. llms.txt файлына не жазылады?
  3. llms.txt-ті бүгін шын мәнінде кім оқиды?
  4. Бәрібір қосу керек пе?
  5. Жақсы llms.txt қалай жазылады?
  6. AISeeWhy llms.txt-ті қалай бағалайды?

llms.txt қайдан шықты?

Jeremy Howard /llms.txt файлын 2024 жылдың қыркүйегінде ұсынды, ұсыныс llmstxt.org сайтында жүргізіледі. Оның мақсаты — тілдік модельдер мен агенттерге сайтты оқыту үшін емес, inference кезінде, мысалы бағдарламалау көмекшісіне кітапхана құжаттамасы қажет болғанда, пайдалануға көмектесетін бір файлды стандарттау.

Бұл идея нақты мәселеге жауап береді. Веб-беттерде навигация, скрипттер, баннерлер және макет болады. Негізгі беттердің таза нұсқаларына сілтемелері бар қысқа, іріктелген Markdown файлымен модельге шектеулі контекст терезесінде жұмыс істеу оңайырақ.

llms.txt файлына не жазылады?

Файл — тұрақты ретпен жазылған Markdown. Тек бірінші элемент міндетті:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Ұсыныс сондай-ақ беттердің Markdown нұсқаларын сол URL-ға .md қосып беруді ұсынады, мысалы page.html.md, сонда құралдар таза мәтінді ала алады.

llms.txt-ті бүгін шын мәнінде кім оқиды?

Мұнда сақ болған жөн. llmstxt.org сайты бұл файлдар көбіне бағдарламалық құжаттама үшін пайдаланылатынын, онда оларды бағдарламалау агенттері оқитынын айтады. OpenAI, Anthropic, Google және Perplexity біз қараған краулер құжаттамасында llms.txt-ті өз іздеу краулерлері пайдаланатын сигналдардың қатарында атамайды.

Google өз Search функциялары үшін одан да әрі барады. Оның AI Overviews пен AI Mode туралы нұсқаулығында оларда көріну үшін машина оқитын жаңа файлдар, ЖИ мәтіндік файлдары немесе белгілеу жасаудың қажеті жоқ делінген. Google Search үшін llms.txt-тің айтылған рөлі жоқ.

Сондықтан шынайы жауап мынадай: кейбір ЖИ құралдары, негізінен сайтқа бағытталған бағдарламалау көмекшілері мен агенттер, оны оқуы мүмкін. ЖИ іздеуі бетіңізге сілтеме бере ме, жоқ па — соны шешетін краулерлер HTML-іңізбен жұмыс істейді.

Файлыңызды бірдеңе оқи ма, өзіңіз көре аласыз. Сервер немесе CDN журналдарынан /llms.txt сұрауларын іздеп, user agent-терді қараңыз. Бірнеше апта ішінде бірде-бір сұрау болмаса, бұл сайтыңыз үшін оның құндылығы туралы кез келген жалпы мәлімдемеден көп айтады.

Бәрібір қосу керек пе?

Сайттардың көбі үшін бұл — шығыны аз, бірақ нәтижесі белгісіз қосымша. Оған бірнеше минут кетеді, ол іздеудегі көрінуіңізге зиян тигізе алмайды және оны іздейтін агенттерге көмектесуі мүмкін. Ол құжаттама, әзірлеуші құралдары және анықтамалық материалы көп өнімдер үшін ең пайдалы.

Ол қолжетімділік мәселелерін түзете алмайды. Файрвол ЖИ краулерлерін бұғаттаса, robots.txt оларға тыйым салса немесе мазмұныңыз тек JavaScript іске қосылғаннан кейін пайда болса, llms.txt ештеңені өзгертпейді. Алдымен соларды түзетіңіз.

Жақсы llms.txt қалай жазылады?

AISeeWhy llms.txt-ті қалай бағалайды?

AISeeWhy сайтыңызда llms.txt бар-жоғын және аудиттелген бет онда көрсетілген-көрсетілмегенін тексереді. Бүгінде ЖИ краулерлері оны сирек оқитындықтан, файлдың болмауы — P3 мәселесі, яғни ең төменгі басымдық, ал есепте бет тақырыбынан, сипаттамасынан және sitemap-тан құрастырылған, өңдеп жариялай алатын жоба беріледі.

Бұл мәселені түзету жолдары

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

llms.txt ресми стандарт па?

Жоқ. Бұл llmstxt.org сайтында жарияланған қауымдастық ұсынысы. Ол IETF немесе W3C стандарты емес, және ешбір ЖИ жеткізушісі оны оқуға міндетті емес.

llms.txt ЖИ оқытуын бұғаттай ма?

Жоқ. Бұл рұқсаттар жиыны емес, сілтемелер тізімі. Оқытудан бас тарту үшін robots.txt-те GPTBot, ClaudeBot немесе Google-Extended сияқты оқыту токендерін пайдаланыңыз.

Google AI Overviews-та көріну үшін llms.txt керек пе?

Жоқ. Google AI Overviews немесе AI Mode-та көріну үшін ЖИ мәтіндік файлдары немесе арнайы белгілеу қажет емес дейді. Бет индекстелген және snippet көрсетуге жарамды болуы керек.

llms.txt ішкі қалтада орналаса ала ма?

Ұсыныстың қазіргі нұсқасы /docs/llms.txt сияқты ішкі жолдағы файлға рұқсат береді, ол сол жолдың астындағы беттерді қамтиды. Сайттардың көбіне түбірдегі бір файл жеткілікті.

Дереккөздер

Басқа мақалалар