Колико сајтова објављује llms.txt? Проверили смо 10.000 домена
Од 10.000 најпопуларнијих домена, 12,4% објављује llms.txt (1.240), а 16,7% оних чија почетна страница одговара HTML-ом. Већи сајтови објављују чешће. Сајтови који га објављују блокирају AI претраживачке краулере у 1,4% случајева, наспрам 15,0% за сајтове који га не објављују. Ово броји само објављивање: не показује да ли неки AI асистент чита тај фајл.
llms.txt је један од најдискутованијих фајлова у AI претрази, а један од најмање измерених. Већ смо прочитали robots.txt топ 10.000 домена, а у истом пролазу затражили смо од сваког и /llms.txt. Ово је стигло као одговор.
На овој страници
Како смо проверавали?
Узели смо топ 10.000 домена са Tranco листе (ID листе JZWZY) и 21. новембра 2026. од сваког једном затражили /llms.txt, као AISeeWhy-јев сопствени user agent, пошто смо прочитали почетну страницу и пратили њено преусмеравање до главног хоста.
Домен се рачуна као објављивач llms.txt када сам /llms.txt одговори са 200, непразним текстуалним телом које није HTML страница, и без преусмеравања на неку другу страницу, као што је пријава или почетна страница. У овом пролазу нисмо проверавали формат фајла.
Шта смо открили?
- 1.240 од 10.000 домена (12,4%) објављује
llms.txt. - Листа укључује CDN-ове и API хостове који не служе ниједан сајт. Међу 7.367 домена чија је почетна страница одговорила HTML-ом, 1.233 (16,7%) га објављује.
- Скоро сви они служе и robots.txt: 1.229 од 1.240.
Да ли већи сајтови објављују чешће?
Да, са јасном разликом. Поделили смо веб-сајтове (домене чија је почетна страница одговорила HTML-ом) по Tranco рангу:
- Рангови од 1 до 1.000: 22,6% објављује llms.txt (149 од 658 сајтова).
- Рангови од 1.001 до 3.000: 18,2% (264 од 1.449).
- Рангови од 3.001 до 10.000: 15,6% (820 од 5.260).
Ко га објављује?
Међу 6.192 домена који служе robots.txt, они који објављују llms.txt разликују се од осталих:
- Блокирају најмање једног AI краулера за тренирање у 11,8% случајева, наспрам 26,0% за домене без llms.txt.
- Блокирају најмање једног AI претраживачког или кориснички покренутог краулера у 1,4% случајева, наспрам 15,0%.
- Користе ред
Content-Signalу 12,9% случајева, наспрам 4,9%.
Другим речима, сајтови који се потруде да објаве llms.txt углавном су они који већ пуштају AI краулере унутра.
Шта ово не показује?
Показује везу, а не узрок. Сајт који озбиљно схвата AI видљивост може да објави llms.txt и да истовремено држи robots.txt отвореним; то не значи да је фајл направио разлику. Бројање мери и само објављивање. Не показује да ли неки AI асистент чита фајл, а главни AI претраживачки краулери не кажу да га користе.
Бројке описују правила за почетну страницу и фајл на једној адреси једног дана, за најпопуларније домене. Мањи сајтови могу изгледати другачије.
Да ли да га објавите?
Јефтино је и безопасно: кратак Markdown резиме вашег сајта и списак најкориснијих страница. Одржавајте га тачним и нека везе у њему раде. Немојте га сматрати заменом за пуштање краулера унутра: llms.txt на сајту чији заштитни зид одбија краулера, или чији robots.txt га забрањује, никоме не помаже.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера и валидатор llms.txt
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Честа питања
Који удео веб-сајтова има llms.txt?
Међу 10.000 најпопуларнијих домена које смо проверили, 12,4% га објављује. Међу доменима чија почетна страница одговара HTML-ом удео је 16,7%, а виши је за највеће сајтове: 22,6% у топ 1.000.
Да ли сајтови са llms.txt чешће дозвољавају AI краулере?
У нашим подацима да: блокирају AI претраживачке и кориснички покренуте краулере у 1,4% случајева, наспрам 15,0% за сајтове без њега. Ово је корелација. Не показује да фајл мења начин на који краулери третирају сајт.
Помаже ли llms.txt да ме AI асистенти цитирају?
Наши подаци то не могу да кажу. Броје који сајтови објављују фајл, а не да ли га асистент користи, и главни AI претраживачки краулери не наводе да га читају. Важнији су странице које се могу индексирати и отворен приступ.
Како да утврдим да ли сајт има прави llms.txt?
Затражите /llms.txt и проверите да одговара са 200 на тој адреси, са текстуалним телом које није HTML страница. Преусмеравање на почетну страницу или страницу за пријаву није llms.txt.
Извори
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers