Сколько сайтов публикуют llms.txt? Мы проверили 10 000 доменов

Опубликовано

Короткий ответ

Из 10 000 самых популярных доменов 12,4% публикуют llms.txt (1240), а среди тех, чья главная страница отвечает HTML, таких 16,7%. Крупные сайты публикуют чаще. Сайты с этим файлом блокируют AI-поисковые краулеры в 1,4% случаев, а сайты без него — в 15,0%. Это подсчёт только публикаций: он не показывает, читает ли файл какой-либо AI-ассистент.

llms.txt — один из самых обсуждаемых файлов в AI-поиске и один из наименее измеренных. Мы уже прочитали robots.txt 10 000 первых доменов и за тот же проход запросили у каждого /llms.txt. Вот что получилось.

На этой странице
  1. Как мы проверяли?
  2. Что мы выяснили?
  3. Крупные сайты публикуют чаще?
  4. Кто его публикует?
  5. Чего эти данные не показывают?
  6. Стоит ли публиковать его вам?

Как мы проверяли?

Мы взяли 10 000 первых доменов списка Tranco (ID списка JZWZY) и 21 ноября 2026 года по одному разу запросили у каждого /llms.txt с собственным user agent AISeeWhy, предварительно прочитав главную страницу и перейдя по её редиректу на основной хост.

Домен считается публикующим llms.txt, если сам адрес /llms.txt отвечает кодом 200 и непустым текстом, который не является HTML-страницей, и нет перенаправления на другую страницу, например на вход в аккаунт или на главную. Формат файла в этом проходе мы не проверяли.

Что мы выяснили?

Крупные сайты публикуют чаще?

Да, и с заметным отрывом. Мы разделили сайты (домены, чья главная страница отвечает HTML) по позиции в рейтинге Tranco:

Кто его публикует?

Среди 6192 доменов с robots.txt те, что публикуют llms.txt, заметно отличаются от остальных:

Иными словами, сайты, которые берут на себя труд опубликовать llms.txt, в основном и так пускают AI-краулеры.

Чего эти данные не показывают?

Они показывают связь, а не причину. Сайт, который всерьёз занимается AI-видимостью, может опубликовать llms.txt и при этом держать robots.txt открытым, но это не значит, что разницу сделал файл. Кроме того, мы измеряем только публикацию. Данные не показывают, читает ли файл какой-либо AI-ассистент, а крупные AI-поисковые краулеры не заявляют, что используют его.

Цифры описывают правила для главной страницы и файл по одному адресу за один день для самых популярных доменов. Менее крупные сайты могут выглядеть иначе.

Стоит ли публиковать его вам?

Это дёшево и безвредно: короткое описание сайта в Markdown и список самых полезных страниц. Держите его точным, а ссылки в нём рабочими. Не считайте его заменой допуску краулеров: llms.txt на сайте, где файрвол отказывает краулеру или robots.txt его запрещает, никому не помогает.

Бесплатные инструменты

Что дальше

Частые вопросы

Какая доля сайтов имеет llms.txt?

Среди 10 000 самых популярных проверенных нами доменов файл публикуют 12,4%. Среди доменов, чья главная страница отвечает HTML, доля составляет 16,7%, а у самых крупных сайтов она выше: 22,6% в первой тысяче.

Сайты с llms.txt чаще пускают AI-краулеры?

По нашим данным, да: они блокируют AI-поисковые краулеры и краулеры пользовательских запросов в 1,4% случаев против 15,0% у сайтов без файла. Это корреляция. Она не доказывает, что файл меняет отношение краулеров к сайту.

Помогает ли llms.txt попасть в цитаты AI-ассистентов?

Наши данные этого не показывают. Мы считаем, какие сайты публикуют файл, а не используют ли его ассистенты, а крупные AI-поисковые краулеры не заявляют, что читают его. Важнее доступные для краулеров страницы и открытый доступ.

Как понять, что у сайта настоящий llms.txt?

Запросите /llms.txt и убедитесь, что по этому адресу приходит ответ 200 с текстом, который не является HTML-страницей. Перенаправление на главную или на страницу входа — это не llms.txt.

Источники

Другие статьи