Шта је llms.txt и да ли вреди да га додате?
llms.txt је предложени Markdown фајл на /llms.txt који AI алатима даје кратак опис вашег сајта и листу линкова ка његовим најкориснијим страницама. То је предлог заједнице, а не стандард, и велики AI краулери за претрагу не кажу да га користе. Додавање је јефтино, али не замењује HTML који краулери могу да прочитају.
llms.txt добија много пажње и често се представља као robots.txt за AI. Ради се о нечем другом: robots.txt наводи шта краулери смеју да преузму, док је llms.txt водич за читање који AI алате упућује на садржај вредан читања. Ево шта предлог каже, шта се зна о његовој употреби и како да га напишете.
На овој страници
Одакле потиче llms.txt?
Jeremy Howard је предложио фајл /llms.txt у септембру 2024, а предлог се одржава на llmstxt.org. Циљ му је да стандардизује један фајл који језичким моделима и агентима помаже да користе сајт у тренутку извршавања, на пример када асистенту за програмирање затреба документација неке библиотеке, а не за обуку.
Идеја одговара на стваран проблем. Веб странице носе навигацију, скрипте, банере и распоред. Кратак, пажљиво сложен Markdown фајл са линковима ка чистим верзијама кључних страница моделу је лакши за рад у ограниченом контекстном прозору.
Шта иде у llms.txt фајл?
Фајл је Markdown са утврђеним редоследом. Обавезан је само први елемент:
- H1 са називом сајта или пројекта (обавезно).
- Цитатни блок са кратким описом тога шта је сајт.
- Необавезни пасуси или листе са више детаља, без наслова.
- H2 одељци, сваки са листом Markdown линкова у облику
[name](url), по жељи праћених двотачком и напоменом. - Необавезан одељак под називом
Optionalза споредне линкове које алат може да прескочи када му је потребно мање контекста.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Предлог такође предлаже да понудите Markdown верзије страница на истом URL-у са додатим .md, на пример page.html.md, како би алати могли да преузму чист текст.
Ко данас заиста чита llms.txt?
Овде се исплати бити пажљив. Сајт llmstxt.org каже да се фајлови највише користе за софтверску документацију, где их прате агенти за програмирање. OpenAI, Anthropic, Google и Perplexity у документацији о краулерима коју смо прегледали не наводе llms.txt међу сигналима које користе њихови краулери за претрагу.
Google иде и даље када су у питању његове функције претраге. Његово упутство за AI Overviews и AI Mode каже да не морате да правите нове машински читљиве фајлове, AI текстуалне фајлове ни ознаке да бисте се у њима појавили. За Google претрагу llms.txt нема наведену улогу.
Дакле, искрен одговор гласи: неки AI алати, углавном асистенти за програмирање и агенти који су упућени на сајт, можда га читају. Краулери који одлучују да ли ће AI претрага цитирати вашу страницу раде на основу вашег HTML-а.
Сами можете да видите да ли нешто чита ваш фајл. У логовима сервера или CDN-а потражите захтеве за /llms.txt и погледајте user agent-е. Ако се захтеви не појаве током неколико недеља, то вам говори више о његовој вредности за ваш сајт него било каква општа тврдња.
Да ли ипак да га додам?
За већину сајтова то је јефтин додатак са неизвесном користи. Узима неколико минута, не може да нашкоди вашој видљивости у претрази и може да помогне агентима који га траже. Најкориснији је за документацију, алате за програмере и производе са доста референтног материјала.
Оно што не може је да реши проблеме са приступом. Ако заштитни зид блокира AI краулере, ваш robots.txt им забрањује приступ или се ваш садржај појављује тек када се покрене JavaScript, llms.txt ништа не мења. Прво то решите.
Како да напишем добар llms.txt?
- Поставите га на
https://yourdomain.com/llms.txtи послужите га као обичан текст са статусом 200, а не као HTML страницу. - Напишите опис онако како бисте сајт објаснили новом колеги у две реченице: шта је и коме је намењен.
- Наведите странице које одговарају на стварна питања: производ, цене, документација, правила. Прескочите странице ознака и архиве.
- Користите апсолутне URL-ове и држите листу довољно кратком да остане корисна; неколико десетина линкова је сасвим довољно за већину сајтова.
- Одржавајте га ажурним. Фајл који линкује ка уклоњеним страницама гори је него да га нема.
- Не користите га за навођење дозвола. Правила приступа спадају у robots.txt.
Како AISeeWhy третира llms.txt?
AISeeWhy проверава да ли ваш сајт има llms.txt и да ли је проверена страница наведена у њему. Пошто га AI краулери данас ретко читају, фајл који недостаје је налаз P3, најнижег приоритета, а извештај укључује нацрт направљен од наслова, описа и мапе сајта ваше странице, који можете да измените и објавите.
Исправке за овај проблем
- Фајл за откривање агената не може да се прочита
- Markdown верзија за агенте не ради
- Markdown одговор без Vary: Accept
- Нема Markdown верзије за AI агенте
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера и валидатор llms.txt
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли је llms.txt званични стандард?
Није. То је предлог заједнице објављен на llmstxt.org. Није IETF ни W3C стандард и ниједна AI компанија није обавезна да га чита.
Да ли llms.txt блокира AI обуку?
Не. То је листа линкова, а не скуп дозвола. Да бисте се искључили из обуке, користите токене за обуку у robots.txt, као што су GPTBot, ClaudeBot или Google-Extended.
Да ли ми је потребан llms.txt да бих се појавио у Google AI Overviews?
Не. Google каже да вам за појављивање у AI Overviews или AI Mode нису потребни AI текстуални фајлови ни посебне ознаке. Страница мора бити индексирана и испуњавати услове за приказ одломка.
Може ли llms.txt да буде у подфасцикли?
Тренутна верзија предлога дозвољава фајл на подпутањи, као што је /docs/llms.txt, који покрива странице испод те путање. Већини сајтова је потребан само један фајл у корену.
Извори
- llmstxt.org: фајл /llms.txt
- Google Search Central: AI функције и ваш сајт
- OpenAI: преглед OpenAI краулера