Сколько сайтов публикуют llms.txt? Мы проверили 10 000 доменов
Из 10 000 самых популярных доменов 12,4% публикуют llms.txt (1240), а среди тех, чья главная страница отвечает HTML, таких 16,7%. Крупные сайты публикуют чаще. Сайты с этим файлом блокируют AI-поисковые краулеры в 1,4% случаев, а сайты без него — в 15,0%. Это подсчёт только публикаций: он не показывает, читает ли файл какой-либо AI-ассистент.
llms.txt — один из самых обсуждаемых файлов в AI-поиске и один из наименее измеренных. Мы уже прочитали robots.txt 10 000 первых доменов и за тот же проход запросили у каждого /llms.txt. Вот что получилось.
На этой странице
Как мы проверяли?
Мы взяли 10 000 первых доменов списка Tranco (ID списка JZWZY) и 21 ноября 2026 года по одному разу запросили у каждого /llms.txt с собственным user agent AISeeWhy, предварительно прочитав главную страницу и перейдя по её редиректу на основной хост.
Домен считается публикующим llms.txt, если сам адрес /llms.txt отвечает кодом 200 и непустым текстом, который не является HTML-страницей, и нет перенаправления на другую страницу, например на вход в аккаунт или на главную. Формат файла в этом проходе мы не проверяли.
Что мы выяснили?
- 1240 из 10 000 доменов (12,4%) публикуют
llms.txt. - В списке есть CDN и API-хосты, у которых нет сайта. Среди 7367 доменов, чья главная страница отвечает HTML, файл публикуют 1233 (16,7%).
- Почти у всех из них есть и robots.txt: у 1229 из 1240.
Крупные сайты публикуют чаще?
Да, и с заметным отрывом. Мы разделили сайты (домены, чья главная страница отвечает HTML) по позиции в рейтинге Tranco:
- Позиции с 1 по 1000: 22,6% публикуют llms.txt (149 из 658 сайтов).
- Позиции с 1001 по 3000: 18,2% (264 из 1449).
- Позиции с 3001 по 10 000: 15,6% (820 из 5260).
Кто его публикует?
Среди 6192 доменов с robots.txt те, что публикуют llms.txt, заметно отличаются от остальных:
- Они блокируют хотя бы одного AI-краулера для обучения в 11,8% случаев, а домены без llms.txt — в 26,0%.
- Они блокируют хотя бы одного AI-поискового краулера или краулера пользовательских запросов в 1,4% случаев против 15,0%.
- Они используют строку
Content-Signalв 12,9% случаев против 4,9%.
Иными словами, сайты, которые берут на себя труд опубликовать llms.txt, в основном и так пускают AI-краулеры.
Чего эти данные не показывают?
Они показывают связь, а не причину. Сайт, который всерьёз занимается AI-видимостью, может опубликовать llms.txt и при этом держать robots.txt открытым, но это не значит, что разницу сделал файл. Кроме того, мы измеряем только публикацию. Данные не показывают, читает ли файл какой-либо AI-ассистент, а крупные AI-поисковые краулеры не заявляют, что используют его.
Цифры описывают правила для главной страницы и файл по одному адресу за один день для самых популярных доменов. Менее крупные сайты могут выглядеть иначе.
Стоит ли публиковать его вам?
Это дёшево и безвредно: короткое описание сайта в Markdown и список самых полезных страниц. Держите его точным, а ссылки в нём рабочими. Не считайте его заменой допуску краулеров: llms.txt на сайте, где файрвол отказывает краулеру или robots.txt его запрещает, никому не помогает.
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Проверка и валидатор llms.txt
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Частые вопросы
Какая доля сайтов имеет llms.txt?
Среди 10 000 самых популярных проверенных нами доменов файл публикуют 12,4%. Среди доменов, чья главная страница отвечает HTML, доля составляет 16,7%, а у самых крупных сайтов она выше: 22,6% в первой тысяче.
Сайты с llms.txt чаще пускают AI-краулеры?
По нашим данным, да: они блокируют AI-поисковые краулеры и краулеры пользовательских запросов в 1,4% случаев против 15,0% у сайтов без файла. Это корреляция. Она не доказывает, что файл меняет отношение краулеров к сайту.
Помогает ли llms.txt попасть в цитаты AI-ассистентов?
Наши данные этого не показывают. Мы считаем, какие сайты публикуют файл, а не используют ли его ассистенты, а крупные AI-поисковые краулеры не заявляют, что читают его. Важнее доступные для краулеров страницы и открытый доступ.
Как понять, что у сайта настоящий llms.txt?
Запросите /llms.txt и убедитесь, что по этому адресу приходит ответ 200 с текстом, который не является HTML-страницей. Перенаправление на главную или на страницу входа — это не llms.txt.
Источники
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers