Колико сајтова објављује llms.txt? Проверили смо 10.000 домена

Објављено

Кратак одговор

Од 10.000 најпопуларнијих домена, 12,4% објављује llms.txt (1.240), а 16,7% оних чија почетна страница одговара HTML-ом. Већи сајтови објављују чешће. Сајтови који га објављују блокирају AI претраживачке краулере у 1,4% случајева, наспрам 15,0% за сајтове који га не објављују. Ово броји само објављивање: не показује да ли неки AI асистент чита тај фајл.

llms.txt је један од најдискутованијих фајлова у AI претрази, а један од најмање измерених. Већ смо прочитали robots.txt топ 10.000 домена, а у истом пролазу затражили смо од сваког и /llms.txt. Ово је стигло као одговор.

На овој страници
  1. Како смо проверавали?
  2. Шта смо открили?
  3. Да ли већи сајтови објављују чешће?
  4. Ко га објављује?
  5. Шта ово не показује?
  6. Да ли да га објавите?

Како смо проверавали?

Узели смо топ 10.000 домена са Tranco листе (ID листе JZWZY) и 21. новембра 2026. од сваког једном затражили /llms.txt, као AISeeWhy-јев сопствени user agent, пошто смо прочитали почетну страницу и пратили њено преусмеравање до главног хоста.

Домен се рачуна као објављивач llms.txt када сам /llms.txt одговори са 200, непразним текстуалним телом које није HTML страница, и без преусмеравања на неку другу страницу, као што је пријава или почетна страница. У овом пролазу нисмо проверавали формат фајла.

Шта смо открили?

Да ли већи сајтови објављују чешће?

Да, са јасном разликом. Поделили смо веб-сајтове (домене чија је почетна страница одговорила HTML-ом) по Tranco рангу:

Ко га објављује?

Међу 6.192 домена који служе robots.txt, они који објављују llms.txt разликују се од осталих:

Другим речима, сајтови који се потруде да објаве llms.txt углавном су они који већ пуштају AI краулере унутра.

Шта ово не показује?

Показује везу, а не узрок. Сајт који озбиљно схвата AI видљивост може да објави llms.txt и да истовремено држи robots.txt отвореним; то не значи да је фајл направио разлику. Бројање мери и само објављивање. Не показује да ли неки AI асистент чита фајл, а главни AI претраживачки краулери не кажу да га користе.

Бројке описују правила за почетну страницу и фајл на једној адреси једног дана, за најпопуларније домене. Мањи сајтови могу изгледати другачије.

Да ли да га објавите?

Јефтино је и безопасно: кратак Markdown резиме вашег сајта и списак најкориснијих страница. Одржавајте га тачним и нека везе у њему раде. Немојте га сматрати заменом за пуштање краулера унутра: llms.txt на сајту чији заштитни зид одбија краулера, или чији robots.txt га забрањује, никоме не помаже.

Бесплатни алати

Следећи кораци

Честа питања

Који удео веб-сајтова има llms.txt?

Међу 10.000 најпопуларнијих домена које смо проверили, 12,4% га објављује. Међу доменима чија почетна страница одговара HTML-ом удео је 16,7%, а виши је за највеће сајтове: 22,6% у топ 1.000.

Да ли сајтови са llms.txt чешће дозвољавају AI краулере?

У нашим подацима да: блокирају AI претраживачке и кориснички покренуте краулере у 1,4% случајева, наспрам 15,0% за сајтове без њега. Ово је корелација. Не показује да фајл мења начин на који краулери третирају сајт.

Помаже ли llms.txt да ме AI асистенти цитирају?

Наши подаци то не могу да кажу. Броје који сајтови објављују фајл, а не да ли га асистент користи, и главни AI претраживачки краулери не наводе да га читају. Важнији су странице које се могу индексирати и отворен приступ.

Како да утврдим да ли сајт има прави llms.txt?

Затражите /llms.txt и проверите да одговара са 200 на тој адреси, са текстуалним телом које није HTML страница. Преусмеравање на почетну страницу или страницу за пријаву није llms.txt.

Извори

Још чланака