Скільки сайтів публікують llms.txt? Ми перевірили 10 000 доменів

Опубліковано

Коротка відповідь

Із 10 000 найпопулярніших доменів 12,4% публікують llms.txt (1 240), а серед тих, чия головна сторінка віддає HTML, — 16,7%. Більші сайти публікують частіше. Сайти, що його публікують, блокують AI-пошукові краулери у 1,4% випадків проти 15,0% для сайтів без нього. Це підрахунок лише публікації: він не показує, чи читає цей файл хоч якийсь AI-асистент.

llms.txt — один із найобговорюваніших і водночас найменш виміряних файлів в AI-пошуку. Ми вже прочитали robots.txt топ-10 000 доменів і в тому самому проході запитали в кожного /llms.txt. Ось що ми отримали.

На цій сторінці
  1. Як ми перевіряли?
  2. Що ми виявили?
  3. Чи більші сайти публікують частіше?
  4. Хто його публікує?
  5. Чого ці дані не показують?
  6. Чи варто його публікувати?

Як ми перевіряли?

Ми взяли топ-10 000 доменів зі списку Tranco (ID списку JZWZY) і 21 листопада 2026 року один раз запитали в кожного /llms.txt із власним user agent AISeeWhy, після того як прочитали головну сторінку й перейшли за її редиректом на основний хост.

Домен вважається таким, що публікує llms.txt, якщо сам /llms.txt відповідає кодом 200, непорожнім текстовим тілом, яке не є HTML-сторінкою, і без редиректу на іншу сторінку, наприклад вхід або головну. Формат файлу в цьому запуску ми не перевіряли.

Що ми виявили?

Чи більші сайти публікують частіше?

Так, і з чіткою перевагою. Ми розділили вебсайти (домени, чия головна сторінка віддала HTML) за рангом Tranco:

Хто його публікує?

Серед 6 192 доменів, що віддають robots.txt, ті, які публікують llms.txt, відрізняються від решти:

Іншими словами, сайти, які беруться публікувати llms.txt, здебільшого й так уже пускають AI-краулери.

Чого ці дані не показують?

Вони показують зв'язок, а не причину. Сайт, який серйозно ставиться до AI-видимості, може опублікувати llms.txt і водночас тримати robots.txt відкритим; це не означає, що різницю зробив файл. Підрахунок також вимірює лише публікацію. Він не показує, чи читає цей файл якийсь AI-асистент, а великі AI-пошукові краулери не заявляють, що ним користуються.

Цифри описують правила для головної сторінки та файл за однією адресою за один день для найпопулярніших доменів. Менші сайти можуть виглядати інакше.

Чи варто його публікувати?

Це дешево й нешкідливо: короткий опис вашого сайту у форматі Markdown і список найкорисніших сторінок. Тримайте його точним, а посилання в ньому робочими. Не вважайте його заміною для того, щоб пускати краулери: llms.txt на сайті, чий фаєрвол відмовляє краулеру або чий robots.txt його забороняє, нікому не допомагає.

Безкоштовні інструменти

Що далі

Поширені запитання

Яка частка вебсайтів має llms.txt?

Серед 10 000 найпопулярніших доменів, які ми перевірили, 12,4% його публікують. Серед доменів, чия головна сторінка віддає HTML, частка становить 16,7%, а для найбільших сайтів вона вища: 22,6% у топ-1000.

Чи сайти з llms.txt частіше пускають AI-краулери?

За нашими даними, так: вони блокують AI-пошукові та користувацькі краулери у 1,4% випадків проти 15,0% для сайтів без нього. Це кореляція. Вона не доводить, що файл змінює ставлення краулерів до сайту.

Чи допомагає llms.txt потрапити в цитування AI-асистентів?

Наші дані цього не показують. Вони рахують, які сайти публікують файл, а не чи використовує його асистент, а великі AI-пошукові краулери не заявляють, що його читають. Важливіші сторінки, доступні для сканування, і відкритий доступ.

Як визначити, чи є в сайту справжній llms.txt?

Запросіть /llms.txt і переконайтеся, що за цією адресою приходить відповідь 200 з текстовим тілом, яке не є HTML-сторінкою. Редирект на головну або сторінку входу — це не llms.txt.

Джерела

Інші статті