Какво е llms.txt и струва ли си да го добавите?
llms.txt е предложен Markdown файл на адрес /llms.txt, който дава на AI инструментите кратко описание на сайта ви и списък с връзки към най-полезните му страници. Това е предложение на общността, а не стандарт, и големите AI ботове за търсене не казват, че го използват. Добавянето му е евтино, но не замества HTML, който ботовете могат да обхождат.
На llms.txt се обръща голямо внимание и често го представят като robots.txt на AI. Той е нещо различно: robots.txt заявява какво могат да изтеглят ботовете, а llms.txt е пътеводител, който насочва AI инструментите към съдържанието, което си струва да се прочете. Ето какво казва предложението, какво се знае за използването му и как да го напишете.
На тази страница
Откъде идва llms.txt?
Джеръми Хауърд предложи файла /llms.txt през септември 2024 г., а предложението се поддържа на llmstxt.org. Целта му е да стандартизира един файл, който помага на езиковите модели и агентите да използват уебсайт по време на работа (inference), например когато асистент за програмиране се нуждае от документацията на дадена библиотека, а не за обучение.
Идеята отговаря на реален проблем. Уеб страниците съдържат навигация, скриптове, банери и оформление. Кратък, подбран Markdown файл с връзки към чисти версии на ключовите страници е по-лесен за работа за модел с ограничен контекстен прозорец.
Какво съдържа файлът llms.txt?
Файлът е Markdown с фиксиран ред. Задължителен е само първият елемент:
- H1 с името на сайта или проекта (задължително).
- Цитат (blockquote) с кратко описание на сайта.
- Абзаци или списъци с повече подробности по желание, без заглавия.
- Раздели H2, всеки със списък от Markdown връзки във формата
[name](url), по желание следвани от двоеточие и бележка. - Раздел по желание с името
Optionalза второстепенни връзки, които инструментът може да пропусне, когато му трябва по-малко контекст.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Предложението препоръчва също да предлагате Markdown версии на страниците на същия URL с добавено .md, например page.html.md, така че инструментите да могат да изтеглят чист текст.
Кой всъщност чете llms.txt днес?
Тук си струва да сте внимателни. Сайтът llmstxt.org казва, че файловете се използват най-много за софтуерна документация, където агентите за програмиране ги следват. OpenAI, Anthropic, Google и Perplexity не посочват llms.txt сред сигналите, които използват ботовете им за търсене, в документацията за ботовете, която прегледахме.
Google отива по-далеч за собствените си функции в Search. Насоките ѝ за AI Overviews и AI Mode казват, че не е нужно да създавате нови машинночетими файлове, AI текстови файлове или маркиране, за да се появявате в тях. За Google Search llms.txt няма заявена роля.
Така че честният отговор е: някои AI инструменти, предимно асистенти за програмиране и агенти, насочени към конкретен сайт, може да го четат. Ботовете, които решават дали AI търсенето ще цитира страницата ви, работят с HTML ви.
Можете сами да видите дали нещо чете файла ви. Потърсете в логовете на сървъра или CDN заявки към /llms.txt и вижте user agent. Ако за няколко седмици няма заявки, това ви казва повече за стойността му за вашия сайт от всяко общо твърдение.
Да го добавя ли все пак?
За повечето сайтове това е евтино допълнение с несигурен ефект. Отнема няколко минути, не може да навреди на видимостта ви в търсенето и може да помогне на агентите, които го търсят. Най-полезно е за документация, инструменти за разработчици и продукти с много справочни материали.
Това, което не може да направи, е да поправи проблеми с достъпа. Ако защитна стена блокира AI ботовете, robots.txt ви ги забранява или съдържанието ви се появява едва след изпълнение на JavaScript, llms.txt не променя нищо. Поправете първо тези неща.
Как да напиша добър llms.txt?
- Поставете го на
https://yourdomain.com/llms.txtи го връщайте като обикновен текст със статус 200, а не като HTML страница. - Напишете описанието така, както бихте обяснили сайта на нов колега с две изречения: какво е и за кого е.
- Посочете страниците, които отговарят на реални въпроси: продукт, цени, документация, правила. Пропуснете страниците с етикети и архивите.
- Използвайте абсолютни URL адреси и пазете списъка достатъчно кратък, за да остане полезен; няколко десетки връзки са напълно достатъчни за повечето сайтове.
- Поддържайте го актуален. Файл с връзки към премахнати страници е по-лош от липсата на файл.
- Не го използвайте за заявяване на разрешения. Правилата за достъп са в robots.txt.
Как AISeeWhy третира llms.txt?
AISeeWhy проверява дали сайтът ви има llms.txt и дали проверяваната страница е посочена в него. Тъй като AI ботовете днес рядко го четат, липсващият файл е находка P3, с най-нисък приоритет, а отчетът включва чернова, съставена от заглавието, описанието и картата на сайта ви, която можете да редактирате и публикувате.
Корекции за този проблем
- Файл за откриване от агенти не може да се прочете
- Markdown версията за агенти не работи
- Markdown отговор без Vary: Accept
- Няма Markdown версия за AI агенти
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка и валидатор на llms.txt
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Официален стандарт ли е llms.txt?
Не. Това е предложение на общността, публикувано на llmstxt.org. То не е стандарт на IETF или W3C и никоя AI компания не е длъжна да го чете.
Блокира ли llms.txt обучението на AI?
Не. Той е списък с връзки, а не набор от разрешения. За да откажете обучението, използвайте токените за обучение в robots.txt, като GPTBot, ClaudeBot или Google-Extended.
Трябва ли ми llms.txt, за да се появя в Google AI Overviews?
Не. Google казва, че не са ви нужни AI текстови файлове или специално маркиране, за да се появявате в AI Overviews или AI Mode. Страницата трябва да е индексирана и да може да показва откъс.
Може ли llms.txt да е в подпапка?
Текущата версия на предложението позволява файл в подпът, например /docs/llms.txt, който обхваща страниците под този път. На повечето сайтове е нужен само един файл в корена.
Източници
- llmstxt.org: Файлът /llms.txt
- Google Search Central: AI функциите и вашият уебсайт
- OpenAI: Преглед на ботовете на OpenAI