Какво е llms.txt и струва ли си да го добавите?

Публикувано

Кратък отговор

llms.txt е предложен Markdown файл на адрес /llms.txt, който дава на AI инструментите кратко описание на сайта ви и списък с връзки към най-полезните му страници. Това е предложение на общността, а не стандарт, и големите AI ботове за търсене не казват, че го използват. Добавянето му е евтино, но не замества HTML, който ботовете могат да обхождат.

На llms.txt се обръща голямо внимание и често го представят като robots.txt на AI. Той е нещо различно: robots.txt заявява какво могат да изтеглят ботовете, а llms.txt е пътеводител, който насочва AI инструментите към съдържанието, което си струва да се прочете. Ето какво казва предложението, какво се знае за използването му и как да го напишете.

На тази страница
  1. Откъде идва llms.txt?
  2. Какво съдържа файлът llms.txt?
  3. Кой всъщност чете llms.txt днес?
  4. Да го добавя ли все пак?
  5. Как да напиша добър llms.txt?
  6. Как AISeeWhy третира llms.txt?

Откъде идва llms.txt?

Джеръми Хауърд предложи файла /llms.txt през септември 2024 г., а предложението се поддържа на llmstxt.org. Целта му е да стандартизира един файл, който помага на езиковите модели и агентите да използват уебсайт по време на работа (inference), например когато асистент за програмиране се нуждае от документацията на дадена библиотека, а не за обучение.

Идеята отговаря на реален проблем. Уеб страниците съдържат навигация, скриптове, банери и оформление. Кратък, подбран Markdown файл с връзки към чисти версии на ключовите страници е по-лесен за работа за модел с ограничен контекстен прозорец.

Какво съдържа файлът llms.txt?

Файлът е Markdown с фиксиран ред. Задължителен е само първият елемент:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Предложението препоръчва също да предлагате Markdown версии на страниците на същия URL с добавено .md, например page.html.md, така че инструментите да могат да изтеглят чист текст.

Кой всъщност чете llms.txt днес?

Тук си струва да сте внимателни. Сайтът llmstxt.org казва, че файловете се използват най-много за софтуерна документация, където агентите за програмиране ги следват. OpenAI, Anthropic, Google и Perplexity не посочват llms.txt сред сигналите, които използват ботовете им за търсене, в документацията за ботовете, която прегледахме.

Google отива по-далеч за собствените си функции в Search. Насоките ѝ за AI Overviews и AI Mode казват, че не е нужно да създавате нови машинночетими файлове, AI текстови файлове или маркиране, за да се появявате в тях. За Google Search llms.txt няма заявена роля.

Така че честният отговор е: някои AI инструменти, предимно асистенти за програмиране и агенти, насочени към конкретен сайт, може да го четат. Ботовете, които решават дали AI търсенето ще цитира страницата ви, работят с HTML ви.

Можете сами да видите дали нещо чете файла ви. Потърсете в логовете на сървъра или CDN заявки към /llms.txt и вижте user agent. Ако за няколко седмици няма заявки, това ви казва повече за стойността му за вашия сайт от всяко общо твърдение.

Да го добавя ли все пак?

За повечето сайтове това е евтино допълнение с несигурен ефект. Отнема няколко минути, не може да навреди на видимостта ви в търсенето и може да помогне на агентите, които го търсят. Най-полезно е за документация, инструменти за разработчици и продукти с много справочни материали.

Това, което не може да направи, е да поправи проблеми с достъпа. Ако защитна стена блокира AI ботовете, robots.txt ви ги забранява или съдържанието ви се появява едва след изпълнение на JavaScript, llms.txt не променя нищо. Поправете първо тези неща.

Как да напиша добър llms.txt?

Как AISeeWhy третира llms.txt?

AISeeWhy проверява дали сайтът ви има llms.txt и дали проверяваната страница е посочена в него. Тъй като AI ботовете днес рядко го четат, липсващият файл е находка P3, с най-нисък приоритет, а отчетът включва чернова, съставена от заглавието, описанието и картата на сайта ви, която можете да редактирате и публикувате.

Корекции за този проблем

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Официален стандарт ли е llms.txt?

Не. Това е предложение на общността, публикувано на llmstxt.org. То не е стандарт на IETF или W3C и никоя AI компания не е длъжна да го чете.

Блокира ли llms.txt обучението на AI?

Не. Той е списък с връзки, а не набор от разрешения. За да откажете обучението, използвайте токените за обучение в robots.txt, като GPTBot, ClaudeBot или Google-Extended.

Трябва ли ми llms.txt, за да се появя в Google AI Overviews?

Не. Google казва, че не са ви нужни AI текстови файлове или специално маркиране, за да се появявате в AI Overviews или AI Mode. Страницата трябва да е индексирана и да може да показва откъс.

Може ли llms.txt да е в подпапка?

Текущата версия на предложението позволява файл в подпът, например /docs/llms.txt, който обхваща страниците под този път. На повечето сайтове е нужен само един файл в корена.

Източници

Още статии