Қанша сайт llms.txt жариялайды? 10 000 доменді тексердік

Жарияланды

Қысқа жауап

Ең танымал 10 000 доменнің 12,4%-ы (1 240) llms.txt жариялайды, ал басты беті HTML-мен жауап беретіндердің 16,7%-ы. Ірі сайттар жиірек жариялайды. Оны жариялайтын сайттар AI іздеу краулерлерін 1,4% жағдайда бөгейді, жарияламайтындар 15,0% жағдайда. Бұл тек жариялауды санайды: қандай да бір AI көмекші файлды оқитынын көрсетпейді.

llms.txt AI іздеудегі ең көп талқыланатын файлдардың бірі және ең аз өлшенгендерінің бірі. Біз ең танымал 10 000 доменнің robots.txt файлын оқып қойғанбыз, сол өтуде әр доменнен /llms.txt файлын да сұрадық. Мынау қайтқан нәтиже.

Осы бетте
  1. Біз мұны қалай тексердік?
  2. Біз не таптық?
  3. Ірі сайттар жиірек жариялай ма?
  4. Оны кім жариялайды?
  5. Бұл не көрсетпейді?
  6. Оны жариялау керек пе?

Біз мұны қалай тексердік?

Біз Tranco тізімінің топ-10 000 доменін алдық (тізім ID: JZWZY) және 2026 жылғы 21 қарашада басты бетті оқып, оның негізгі хостқа редиректін ұстанғаннан кейін, әрқайсысынан /llms.txt файлын AISeeWhy-дың өз user agent-імен бір реттен сұрадық.

Егер /llms.txt өзі 200 кодымен жауап беріп, HTML беті емес бос емес мәтін денесін қайтарса және кіру беті немесе басты бет сияқты басқа бетке редирект жасамаса, домен llms.txt жариялайды деп есептеледі. Бұл жолы файлдың форматын тексермедік.

Біз не таптық?

Ірі сайттар жиірек жариялай ма?

Иә, айқын айырмамен. Вебсайттарды (басты беті HTML-мен жауап берген домендерді) Tranco рейтингі бойынша бөлдік:

Оны кім жариялайды?

robots.txt беретін 6 192 доменнің ішінде llms.txt жариялайтындар қалғандарынан өзгеше көрінеді:

Басқаша айтқанда, llms.txt жариялауға жүрек жеткізетін сайттардың көбі AI краулерлерін бұрыннан кіргізіп жүрген сайттар.

Бұл не көрсетпейді?

Бұл байланысты көрсетеді, себепті емес. AI көрінуіне байыппен қарайтын сайт llms.txt жариялап, robots.txt файлын да ашық ұстауы мүмкін, бірақ бұл айырманы файл жасады дегенді білдірмейді. Санау тек жариялауды өлшейді. Қандай да бір AI көмекші файлды оқитынын көрсетпейді, ал басты AI іздеу краулерлері оны пайдаланамыз деп айтпайды.

Сандар ең танымал домендер үшін бір күнде бір мекенжайдағы басты бет ережелерін және файлды сипаттайды. Кіші сайттар басқаша көрінуі мүмкін.

Оны жариялау керек пе?

Бұл арзан және зиянсыз: сайтыңыздың қысқа Markdown мазмұндамасы және ең пайдалы беттеріңіздің тізімі. Оны дәл ұстаңыз және сілтемелері жұмыс істеп тұрсын. Оны краулерлерді кіргізудің орнына қоймаңыз: брандмауэрі краулерден бас тартатын немесе robots.txt файлы оған тыйым салатын сайттағы llms.txt ешкімге көмектеспейді.

Тегін құралдар

Келесі қадамдар

Жиі қойылатын сұрақтар

Сайттардың қандай бөлігінде llms.txt бар?

Біз тексерген ең танымал 10 000 доменнің 12,4%-ы оны жариялайды. Басты беті HTML-мен жауап беретін домендерде үлес 16,7%, ал ең ірі сайттарда жоғары: топ-1 000-да 22,6%.

llms.txt бар сайттар AI краулерлерін жиірек кіргізе ме?

Біздің деректерде иә: олар AI іздеу және пайдаланушы краулерлерін 1,4% жағдайда бөгейді, файлы жоқ сайттар 15,0% жағдайда. Бұл корреляция. Файл краулерлердің сайтқа қарым-қатынасын өзгертетінін көрсетпейді.

llms.txt AI көмекшілер маған сілтеме беруіне көмектесе ме?

Біздің деректер мұны айта алмайды. Олар қай сайттардың файлды жариялайтынын санайды, көмекшінің оны пайдаланатынын емес, ал басты AI іздеу краулерлері оны оқитынын айтпайды. Оқылатын беттер мен ашық қолжетімділік маңыздырақ.

Сайттың нағыз llms.txt файлы бар екенін қалай білуге болады?

/llms.txt сұрап, ол дәл сол мекенжайда 200 кодымен, HTML беті емес мәтін денесімен жауап беретінін тексеріңіз. Басты бетке немесе кіру бетіне редирект llms.txt емес.

Дереккөздер

Басқа мақалалар