Колку сајтови објавуваат llms.txt? Проверивме 10.000 домени
Од 10.000-те најпопуларни домени, 12,4% објавуваат llms.txt (1.240), а 16,7% од оние чија почетна страница одговара со HTML. Поголемите сајтови објавуваат почесто. Сајтовите што објавуваат llms.txt блокираат AI-роботи за пребарување во 1,4% од случаите, наспроти 15,0% за сајтовите што не објавуваат. Ова брои само објавување: не покажува дали некој AI-асистент ја чита датотеката.
llms.txt е една од најдискутираните датотеки во AI-пребарувањето и една од најмалку измерените. Веќе го прочитавме robots.txt на првите 10.000 домени, а во истиот премин го побаравме /llms.txt од секој. Ова е она што се врати.
На оваа страница
Како проверувавме?
Ги зедовме првите 10.000 домени од листата Tranco (ID на листата JZWZY) и по еднаш го побаравме /llms.txt од секој на 21 ноември 2026, како сопствениот кориснички агент на AISeeWhy, откако ја прочитавме почетната страница и го следевме нејзиното пренасочување до главниот хост.
Домен се смета дека објавува llms.txt кога самиот /llms.txt одговара со 200, непразна текстуална содржина што не е HTML-страница и нема пренасочување кон друга страница, како најава или почетната страница. Форматот на датотеката во овој пробег не го проверувавме.
Што најдовме?
- 1.240 од 10.000-те домени (12,4%) објавуваат
llms.txt. - Листата вклучува CDN-ови и API-хостови што не служат веб-сајт. Меѓу 7.367-те домени чија почетна страница одговори со HTML, 1.233 (16,7%) објавуваат.
- Скоро сите тие служат и robots.txt: 1.229 од 1.240.
Дали поголемите сајтови објавуваат повеќе?
Да, со јасна разлика. Ги поделивме веб-сајтовите (домени чија почетна страница одговори со HTML) по ранг на Tranco:
- Ранг од 1 до 1.000: 22,6% објавуваат llms.txt (149 од 658 веб-сајтови).
- Ранг од 1.001 до 3.000: 18,2% (264 од 1.449).
- Ранг од 3.001 до 10.000: 15,6% (820 од 5.260).
Кој објавува?
Меѓу 6.192-те домени што служат robots.txt, оние што објавуваат llms.txt изгледаат поинаку од останатите:
- Блокираат барем еден AI-робот за обука во 11,8% од случаите, наспроти 26,0% за домените без llms.txt.
- Блокираат барем еден AI-робот за пребарување или за корисник во 1,4% од случаите, наспроти 15,0%.
- Користат линија
Content-Signalво 12,9% од случаите, наспроти 4,9%.
Со други зборови, сајтовите што се трудат да објават llms.txt се главно оние што веќе ги пуштаат AI-роботите.
Што не покажува ова?
Покажува врска, а не причина. Сајт што сериозно ја сфаќа AI-видливоста може да објави llms.txt и исто така да го држи robots.txt отворен; тоа не значи дека датотеката направила разлика. Бројката мери и само објавување. Не покажува дали некој AI-асистент ја чита датотеката, а главните AI-роботи за пребарување не велат дека ја користат.
Бројките ги опишуваат правилата за почетната страница и датотеката на една адреса во еден ден, за најпопуларните домени. Помалите сајтови може да изгледаат поинаку.
Дали треба да објавите?
Евтино е и безопасно: кратко резиме во Markdown за вашиот сајт и список на вашите најкорисни страници. Одржувајте го точно и одржувајте ги врските исправни. Не го сметајте за замена за пуштање на роботите: llms.txt на сајт чиј заштитен ѕид го одбива роботот, или чиј robots.txt му го забранува, не помага никому.
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- Проверка и валидатор за llms.txt
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Често поставувани прашања
Колкав дел од веб-сајтовите имаат llms.txt?
Меѓу 10.000-те најпопуларни домени што ги проверивме, 12,4% објавуваат. Меѓу домените чија почетна страница одговара со HTML уделот е 16,7%, а повисок е за најголемите сајтови: 22,6% во првите 1.000.
Дали сајтовите со llms.txt почесто ги дозволуваат AI-роботите?
Во нашите податоци, да: блокираат AI-роботи за пребарување и за корисник во 1,4% од случаите наспроти 15,0% за сајтовите без него. Ова е корелација. Не покажува дека датотеката го менува однесувањето на роботите кон сајтот.
Дали llms.txt помага да ме цитираат AI-асистентите?
Нашите податоци не можат да кажат. Тие бројат кои сајтови ја објавуваат датотеката, а не дали асистент ја користи, а главните AI-роботи за пребарување не наведуваат дека ја читаат. Читливите страници и отворениот пристап се поважни.
Како да препознаам дали сајтот има вистински llms.txt?
Побарајте /llms.txt и проверете дали одговара со 200 на таа адреса, со текстуална содржина што не е HTML-страница. Пренасочување кон почетната страница или страница за најава не е llms.txt.
Извори
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers