Что такое llms.txt и стоит ли его добавлять

Опубликовано 2026-11-12

Короткий ответ

llms.txt — предлагаемый Markdown-файл по адресу /llms.txt, который даёт AI-инструментам краткое описание сайта и список ссылок на самые полезные страницы. Это инициатива сообщества, а не стандарт, и крупные AI-поисковые краулеры не заявляют, что его используют. Добавить его недорого, но он не заменяет доступный для краулеров HTML.

llms.txt привлекает много внимания, его часто подают как robots.txt для AI. Но это другое: robots.txt говорит, что краулерам можно загружать, а llms.txt — путеводитель, который указывает AI-инструментам, что стоит читать. Здесь разобрано, что говорит предложение, что известно о его использовании и как составить такой файл.

На этой странице

Откуда взялся llms.txt
Что входит в файл llms.txt
Кто на самом деле читает llms.txt сегодня
Стоит ли добавлять его всё равно
Как написать хороший llms.txt
Как AISeeWhy относится к llms.txt

Откуда взялся llms.txt

Файл /llms.txt предложил Джереми Ховард (Jeremy Howard) в сентябре 2024 года, и предложение поддерживается на llmstxt.org. Его цель — стандартизировать один файл, который помогает языковым моделям и агентам работать с сайтом в момент ответа, например когда ассистенту для кода нужна документация библиотеки, а не для обучения.

Идея отвечает на реальную проблему. На веб-страницах есть навигация, скрипты, баннеры и вёрстка. Короткий отобранный файл Markdown со ссылками на чистые версии ключевых страниц модели проще использовать в ограниченном контекстном окне.

Что входит в файл llms.txt

Файл написан на Markdown в строгом порядке. Обязателен только первый элемент:

Заголовок H1 с названием сайта или проекта (обязателен).
Цитата (blockquote) с кратким описанием сайта.
Необязательные абзацы или списки с подробностями, без заголовков.
Разделы H2, в каждом список ссылок Markdown в виде [name](url), после которых при желании через двоеточие идёт примечание.
Необязательный раздел Optional для второстепенных ссылок, которые инструмент может пропустить, когда ему нужно меньше контекста.

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Предложение также советует отдавать Markdown-версии страниц по тому же URL с добавлением .md, например page.html.md, чтобы инструменты могли получать чистый текст.

Кто на самом деле читает llms.txt сегодня

Здесь нужно быть осторожным. Сайт llmstxt.org пишет, что файлы чаще всего используют для документации к программному обеспечению, где им следуют агенты для кода. OpenAI, Anthropic, Google и Perplexity не называют llms.txt среди сигналов, которые используют их поисковые краулеры, в изученной нами документации по краулерам.

Google заходит дальше, говоря о собственных функциях Поиска. В его рекомендациях по AI Overviews и AI Mode сказано, что для появления в них не нужно создавать новые машиночитаемые файлы, текстовые файлы для AI или разметку. Для Google Поиска у llms.txt нет заявленной роли.

Так что честный ответ такой: некоторые AI-инструменты, в основном ассистенты для кода и агенты, которых направили на сайт, могут его читать. Краулеры, которые решают, процитирует ли AI-поиск вашу страницу, работают с вашим HTML.

Проверить, читает ли ваш файл хоть кто-то, можно самому. Поищите в логах сервера или CDN запросы к /llms.txt и посмотрите на user agent. Если за несколько недель запросов нет, это скажет о пользе файла для вашего сайта больше, чем любые общие утверждения.

Стоит ли добавлять его всё равно

Для большинства сайтов это недорогое дополнение с невысокой отдачей. Занимает несколько минут, не навредит видимости в поиске и может пригодиться агентам, которые его ищут. Больше всего пользы он даёт для документации, инструментов для разработчиков и продуктов с большим объёмом справочных материалов.

Чего он не может, так это исправить проблемы с доступом. Если файрвол блокирует AI-краулеров, ваш robots.txt их запрещает или контент появляется только после выполнения JavaScript, llms.txt ничего не изменит. Сначала исправьте это.

Как написать хороший llms.txt

Разместите его по адресу https://yourdomain.com/llms.txt и отдавайте как обычный текст со статусом 200, а не как HTML-страницу.
Напишите описание так, как объяснили бы сайт новому коллеге в двух предложениях: что это и для кого.
Перечислите страницы, которые отвечают на реальные вопросы: продукт, цены, документацию, правила. Страницы тегов и архивы пропустите.
Используйте абсолютные URL и держите список достаточно коротким, чтобы он оставался полезным; для большинства сайтов хватит нескольких десятков ссылок.
Поддерживайте его в актуальном состоянии. Файл со ссылками на удалённые страницы хуже, чем его отсутствие.
Не используйте его для задания разрешений. Правила доступа принадлежат robots.txt.

Как AISeeWhy относится к llms.txt

AISeeWhy проверяет, есть ли на сайте llms.txt и указана ли в нём проверяемая страница. Поскольку AI-краулеры пока редко его читают, отсутствие файла — находка уровня P3, самого низкого приоритета, а в отчёт входит черновик, собранный из заголовка, описания страницы и карты сайта, который можно отредактировать и опубликовать.

Частые вопросы

Является ли llms.txt официальным стандартом?

Нет. Это инициатива сообщества, опубликованная на llmstxt.org. Это не стандарт IETF или W3C, и ни один AI-вендор не обязан его читать.

Блокирует ли llms.txt обучение AI?

Нет. Это список ссылок, а не набор разрешений. Чтобы отказаться от обучения, используйте токены обучения в robots.txt, такие как GPTBot, ClaudeBot или Google-Extended.

Нужен ли llms.txt, чтобы попасть в Google AI Overviews?

Нет. Google сообщает, что для появления в AI Overviews или AI Mode не нужны текстовые файлы для AI или специальная разметка. Страница должна быть проиндексирована и иметь право на показ сниппета.

Может ли llms.txt лежать в подпапке?

Нынешняя версия предложения допускает файл по вложенному пути, например /docs/llms.txt, который охватывает страницы под этим путём. Большинству сайтов достаточно одного файла в корне.