Скільки сайтів публікують llms.txt? Ми перевірили 10 000 доменів
Із 10 000 найпопулярніших доменів 12,4% публікують llms.txt (1 240), а серед тих, чия головна сторінка віддає HTML, — 16,7%. Більші сайти публікують частіше. Сайти, що його публікують, блокують AI-пошукові краулери у 1,4% випадків проти 15,0% для сайтів без нього. Це підрахунок лише публікації: він не показує, чи читає цей файл хоч якийсь AI-асистент.
llms.txt — один із найобговорюваніших і водночас найменш виміряних файлів в AI-пошуку. Ми вже прочитали robots.txt топ-10 000 доменів і в тому самому проході запитали в кожного /llms.txt. Ось що ми отримали.
На цій сторінці
Як ми перевіряли?
Ми взяли топ-10 000 доменів зі списку Tranco (ID списку JZWZY) і 21 листопада 2026 року один раз запитали в кожного /llms.txt із власним user agent AISeeWhy, після того як прочитали головну сторінку й перейшли за її редиректом на основний хост.
Домен вважається таким, що публікує llms.txt, якщо сам /llms.txt відповідає кодом 200, непорожнім текстовим тілом, яке не є HTML-сторінкою, і без редиректу на іншу сторінку, наприклад вхід або головну. Формат файлу в цьому запуску ми не перевіряли.
Що ми виявили?
- 1 240 із 10 000 доменів (12,4%) публікують
llms.txt. - У списку є CDN та API-хости, які не обслуговують жодного сайту. Серед 7 367 доменів, чия головна сторінка віддала HTML, 1 233 (16,7%) його публікують.
- Майже всі вони також віддають robots.txt: 1 229 із 1 240.
Чи більші сайти публікують частіше?
Так, і з чіткою перевагою. Ми розділили вебсайти (домени, чия головна сторінка віддала HTML) за рангом Tranco:
- Ранги від 1 до 1 000: 22,6% публікують llms.txt (149 із 658 вебсайтів).
- Ранги від 1 001 до 3 000: 18,2% (264 із 1 449).
- Ранги від 3 001 до 10 000: 15,6% (820 із 5 260).
Хто його публікує?
Серед 6 192 доменів, що віддають robots.txt, ті, які публікують llms.txt, відрізняються від решти:
- Вони блокують принаймні один AI-краулер для навчання у 11,8% випадків проти 26,0% для доменів без llms.txt.
- Вони блокують принаймні один AI-пошуковий або користувацький краулер у 1,4% випадків проти 15,0%.
- Вони використовують рядок
Content-Signalу 12,9% випадків проти 4,9%.
Іншими словами, сайти, які беруться публікувати llms.txt, здебільшого й так уже пускають AI-краулери.
Чого ці дані не показують?
Вони показують зв'язок, а не причину. Сайт, який серйозно ставиться до AI-видимості, може опублікувати llms.txt і водночас тримати robots.txt відкритим; це не означає, що різницю зробив файл. Підрахунок також вимірює лише публікацію. Він не показує, чи читає цей файл якийсь AI-асистент, а великі AI-пошукові краулери не заявляють, що ним користуються.
Цифри описують правила для головної сторінки та файл за однією адресою за один день для найпопулярніших доменів. Менші сайти можуть виглядати інакше.
Чи варто його публікувати?
Це дешево й нешкідливо: короткий опис вашого сайту у форматі Markdown і список найкорисніших сторінок. Тримайте його точним, а посилання в ньому робочими. Не вважайте його заміною для того, щоб пускати краулери: llms.txt на сайті, чий фаєрвол відмовляє краулеру або чий robots.txt його забороняє, нікому не допомагає.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка й валідатор llms.txt
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Поширені запитання
Яка частка вебсайтів має llms.txt?
Серед 10 000 найпопулярніших доменів, які ми перевірили, 12,4% його публікують. Серед доменів, чия головна сторінка віддає HTML, частка становить 16,7%, а для найбільших сайтів вона вища: 22,6% у топ-1000.
Чи сайти з llms.txt частіше пускають AI-краулери?
За нашими даними, так: вони блокують AI-пошукові та користувацькі краулери у 1,4% випадків проти 15,0% для сайтів без нього. Це кореляція. Вона не доводить, що файл змінює ставлення краулерів до сайту.
Чи допомагає llms.txt потрапити в цитування AI-асистентів?
Наші дані цього не показують. Вони рахують, які сайти публікують файл, а не чи використовує його асистент, а великі AI-пошукові краулери не заявляють, що його читають. Важливіші сторінки, доступні для сканування, і відкритий доступ.
Як визначити, чи є в сайту справжній llms.txt?
Запросіть /llms.txt і переконайтеся, що за цією адресою приходить відповідь 200 з текстовим тілом, яке не є HTML-сторінкою. Редирект на головну або сторінку входу — це не llms.txt.
Джерела
- llmstxt.org: Файл /llms.txt
- AISeeWhy: Звіт про доступ AI-краулерів, 2026-11
- Tranco: рейтинг топ-сайтів для досліджень
- Google Search Central: AI-функції та ваш вебсайт
- OpenAI: Огляд краулерів OpenAI