Колко сайта публикуват llms.txt? Проверихме 10 000 домейна
От 10 000-те най-популярни домейна 12,4% публикуват llms.txt (1 240), а сред тези, чиято начална страница отговаря с HTML, дялът е 16,7%. По-големите сайтове го публикуват по-често. Сайтовете с такъв файл блокират AI краулърите за търсене в 1,4% от случаите срещу 15,0% при сайтовете без него. Това брои само публикуването: не показва дали някой AI асистент чете файла.
llms.txt е един от най-обсъжданите файлове в AI търсенето и един от най-слабо измерените. Вече прочетохме robots.txt на топ 10 000 домейна и в същия преглед поискахме от всеки от тях /llms.txt. Ето какво се върна.
На тази страница
Как проверихме?
Взехме топ 10 000 домейна от списъка на Tranco (ID на списъка JZWZY) и заявихме /llms.txt по веднъж от всеки на 21 ноември 2026 г. с user agent на самия AISeeWhy, след като прочетохме началната страница и последвахме пренасочването ѝ към основния хост.
Домейн се брои за публикуващ llms.txt, когато самият /llms.txt отговаря с 200, непразно текстово тяло, което не е HTML страница, и без пренасочване към друга страница, например за вход или началната. Форматът на файла не проверявахме в този преглед.
Какво открихме?
- 1 240 от 10 000 домейна (12,4%) публикуват
llms.txt. - В списъка има CDN и API хостове, които не обслужват уебсайт. Сред 7 367 домейна, чиято начална страница отговаря с HTML, 1 233 (16,7%) публикуват такъв файл.
- Почти всички от тях обслужват и robots.txt: 1 229 от 1 240.
Публикуват ли повече по-големите сайтове?
Да, при това с ясна разлика. Разделихме уебсайтовете (домейни, чиято начална страница отговаря с HTML) по ранг в Tranco:
- Рангове от 1 до 1 000: 22,6% публикуват llms.txt (149 от 658 уебсайта).
- Рангове от 1 001 до 3 000: 18,2% (264 от 1 449).
- Рангове от 3 001 до 10 000: 15,6% (820 от 5 260).
Кой го публикува?
Сред 6 192 домейна, които обслужват robots.txt, тези с llms.txt се различават от останалите:
- Те блокират поне един AI краулър за обучение в 11,8% от случаите срещу 26,0% за домейните без llms.txt.
- Те блокират поне един AI краулър за търсене или за потребителски заявки в 1,4% от случаите срещу 15,0%.
- Те използват ред
Content-Signalв 12,9% от случаите срещу 4,9%.
С други думи, сайтовете, които си дават труда да публикуват llms.txt, са предимно сайтове, които и без това допускат AI краулърите.
Какво това не показва?
То показва връзка, а не причина. Сайт, който приема AI видимостта сериозно, може да публикува llms.txt и същевременно да държи robots.txt отворен; това не значи, че файлът е направил разликата. Броят измерва и само публикуването. Не показва дали някой AI асистент чете файла, а големите AI краулъри за търсене не казват, че го ползват.
Числата описват правилата на началната страница и файла на един адрес в един ден, за най-популярните домейни. По-малките сайтове може да изглеждат различно.
Трябва ли да публикувате такъв?
Евтино е и безвредно: кратко резюме в Markdown на сайта ви и списък с най-полезните ви страници. Дръжте го точен и връзките в него работещи. Не го смятайте за заместител на допускането на краулъри: llms.txt на сайт, чиято защитна стена отказва краулъра или чийто robots.txt го забранява, не помага на никого.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка и валидатор на llms.txt
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Често задавани въпроси
Какъв дял от уебсайтовете имат llms.txt?
Сред 10 000-те най-популярни домейна, които проверихме, 12,4% публикуват такъв. Сред домейните, чиято начална страница отговаря с HTML, делът е 16,7% и е по-висок за най-големите сайтове: 22,6% в топ 1 000.
Допускат ли сайтовете с llms.txt по-често AI краулърите?
В нашите данни да: блокират AI краулърите за търсене и за потребителски заявки в 1,4% от случаите срещу 15,0% за сайтовете без такъв. Това е корелация. Тя не показва, че файлът променя отношението на краулърите към сайта.
Помага ли llms.txt да ме цитират AI асистентите?
Нашите данни не могат да кажат. Те броят кои сайтове публикуват файла, а не дали асистент го ползва, и големите AI краулъри за търсене не твърдят, че го четат. По-важни са страниците, които краулърите могат да четат, и отвореният достъп.
Как да разбера дали сайтът има истински llms.txt?
Заявете /llms.txt и проверете дали отговаря с 200 на този адрес, с текстово тяло, което не е HTML страница. Пренасочване към началната страница или към страница за вход не е llms.txt.
Източници
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers