Колко сайта публикуват llms.txt? Проверихме 10 000 домейна

Публикувано

Кратък отговор

От 10 000-те най-популярни домейна 12,4% публикуват llms.txt (1 240), а сред тези, чиято начална страница отговаря с HTML, дялът е 16,7%. По-големите сайтове го публикуват по-често. Сайтовете с такъв файл блокират AI краулърите за търсене в 1,4% от случаите срещу 15,0% при сайтовете без него. Това брои само публикуването: не показва дали някой AI асистент чете файла.

llms.txt е един от най-обсъжданите файлове в AI търсенето и един от най-слабо измерените. Вече прочетохме robots.txt на топ 10 000 домейна и в същия преглед поискахме от всеки от тях /llms.txt. Ето какво се върна.

На тази страница
  1. Как проверихме?
  2. Какво открихме?
  3. Публикуват ли повече по-големите сайтове?
  4. Кой го публикува?
  5. Какво това не показва?
  6. Трябва ли да публикувате такъв?

Как проверихме?

Взехме топ 10 000 домейна от списъка на Tranco (ID на списъка JZWZY) и заявихме /llms.txt по веднъж от всеки на 21 ноември 2026 г. с user agent на самия AISeeWhy, след като прочетохме началната страница и последвахме пренасочването ѝ към основния хост.

Домейн се брои за публикуващ llms.txt, когато самият /llms.txt отговаря с 200, непразно текстово тяло, което не е HTML страница, и без пренасочване към друга страница, например за вход или началната. Форматът на файла не проверявахме в този преглед.

Какво открихме?

Публикуват ли повече по-големите сайтове?

Да, при това с ясна разлика. Разделихме уебсайтовете (домейни, чиято начална страница отговаря с HTML) по ранг в Tranco:

Кой го публикува?

Сред 6 192 домейна, които обслужват robots.txt, тези с llms.txt се различават от останалите:

С други думи, сайтовете, които си дават труда да публикуват llms.txt, са предимно сайтове, които и без това допускат AI краулърите.

Какво това не показва?

То показва връзка, а не причина. Сайт, който приема AI видимостта сериозно, може да публикува llms.txt и същевременно да държи robots.txt отворен; това не значи, че файлът е направил разликата. Броят измерва и само публикуването. Не показва дали някой AI асистент чете файла, а големите AI краулъри за търсене не казват, че го ползват.

Числата описват правилата на началната страница и файла на един адрес в един ден, за най-популярните домейни. По-малките сайтове може да изглеждат различно.

Трябва ли да публикувате такъв?

Евтино е и безвредно: кратко резюме в Markdown на сайта ви и списък с най-полезните ви страници. Дръжте го точен и връзките в него работещи. Не го смятайте за заместител на допускането на краулъри: llms.txt на сайт, чиято защитна стена отказва краулъра или чийто robots.txt го забранява, не помага на никого.

Безплатни инструменти

Следващи стъпки

Често задавани въпроси

Какъв дял от уебсайтовете имат llms.txt?

Сред 10 000-те най-популярни домейна, които проверихме, 12,4% публикуват такъв. Сред домейните, чиято начална страница отговаря с HTML, делът е 16,7% и е по-висок за най-големите сайтове: 22,6% в топ 1 000.

Допускат ли сайтовете с llms.txt по-често AI краулърите?

В нашите данни да: блокират AI краулърите за търсене и за потребителски заявки в 1,4% от случаите срещу 15,0% за сайтовете без такъв. Това е корелация. Тя не показва, че файлът променя отношението на краулърите към сайта.

Помага ли llms.txt да ме цитират AI асистентите?

Нашите данни не могат да кажат. Те броят кои сайтове публикуват файла, а не дали асистент го ползва, и големите AI краулъри за търсене не твърдят, че го четат. По-важни са страниците, които краулърите могат да четат, и отвореният достъп.

Как да разбера дали сайтът има истински llms.txt?

Заявете /llms.txt и проверете дали отговаря с 200 на този адрес, с текстово тяло, което не е HTML страница. Пренасочване към началната страница или към страница за вход не е llms.txt.

Източници

Още статии