Neçə sayt llms.txt dərc edir? 10 000 domeni yoxladıq
Ən məşhur 10 000 domenin 12,4%-i (1 240) llms.txt dərc edir; ana səhifəsi HTML ilə cavab verən domenlər arasında bu göstərici 16,7%-dir. Böyük saytlar daha tez-tez dərc edir. Belə faylı olan saytlar AI axtarış crawlerlərini 1,4% hallarda bloklayır, faylı olmayan saytlarda isə bu göstərici 15,0%-dir. Bu say yalnız faylın dərc olunduğunu göstərir: hansısa AI köməkçisinin onu oxuyub-oxumadığını göstərmir.
llms.txt AI axtarışı ilə bağlı ən çox müzakirə olunan fayllardan biridir, eyni zamanda ən az ölçülənlərdən biridir. Biz artıq ilk 10 000 domenin robots.txt faylını oxumuşduq və həmin keçiddə hər birindən /llms.txt faylını da istədik. Nəticə belədir.
Bu səhifədə
Necə yoxladıq?
Tranco siyahısının (siyahı ID-si JZWZY) ilk 10 000 domenini götürdük və 21 noyabr 2026-cı ildə hər birindən AISeeWhy-ın öz user agent-i ilə bir dəfə /llms.txt faylını istədik. Bundan əvvəl ana səhifəni oxuyub onun əsas host-a yönləndirməsini izlədik.
/llms.txt ünvanının özü 200 ilə cavab verirsə, cavab gövdəsi boş olmayan və HTML səhifə olmayan mətndirsə və giriş səhifəsi və ya ana səhifə kimi başqa səhifəyə yönləndirmə yoxdursa, domenin llms.txt dərc etdiyini hesab edirik. Bu yoxlamada faylın formatına baxmadıq.
Nə tapdıq?
- 10 000 domenin 1 240-ı (12,4%)
llms.txtdərc edir. - Siyahıda vebsayt xidmət etməyən CDN və API host-ları da var. Ana səhifəsi HTML ilə cavab verən 7 367 domenin 1 233-ü (16,7%) belə fayl dərc edir.
- Onların demək olar ki, hamısı robots.txt də təqdim edir: 1 240 domendən 1 229-u.
Böyük saytlar daha çox dərc edir?
Bəli, həm də açıq fərqlə. Vebsaytları (ana səhifəsi HTML ilə cavab verən domenləri) Tranco reytinqinə görə böldük:
- 1-ci yerdən 1 000-ci yerə qədər: 22,6% llms.txt dərc edir (658 vebsaytdan 149-u).
- 1 001-ci yerdən 3 000-ci yerə qədər: 18,2% (1 449-dan 264-ü).
- 3 001-ci yerdən 10 000-ci yerə qədər: 15,6% (5 260-dan 820-si).
Kim dərc edir?
robots.txt təqdim edən 6 192 domen arasında llms.txt dərc edənlər qalanlardan fərqlənir:
- Onlar ən azı bir AI təlim crawler-ini 11,8% hallarda bloklayır, llms.txt faylı olmayan domenlərdə isə bu göstərici 26,0%-dir.
- Ən azı bir AI axtarış və ya istifadəçi crawler-ini 1,4% hallarda bloklayırlar, digərlərində isə bu göstərici 15,0%-dir.
Content-Signalsətrini 12,9% hallarda istifadə edirlər, digərləri isə 4,9% hallarda.
Başqa sözlə, llms.txt dərc etməyə vaxt ayıran saytlar əsasən AI crawlerlərini onsuz da içəri buraxan saytlardır.
Bu məlumatlar nəyi göstərmir?
Burada əlaqə görünür, səbəb görünmür. AI görünürlüyünü ciddi qəbul edən sayt həm llms.txt dərc edə, həm də robots.txt faylını açıq saxlaya bilər; bu, fərqi faylın yaratdığı anlamına gəlmir. Bu say yalnız dərc olunmanı ölçür. Hansısa AI köməkçisinin faylı oxuyub-oxumadığını göstərmir, əsas AI axtarış crawlerləri isə ondan istifadə etdiklərini bildirmir.
Rəqəmlər ən məşhur domenlər üçün bir gündə, ana səhifə qaydalarını və faylın bir ünvandakı vəziyyətini təsvir edir. Kiçik saytlar fərqli ola bilər.
Siz də dərc etməlisiniz?
Bu, ucuzdur və zərərsizdir: saytınızın qısa Markdown xülasəsi və ən faydalı səhifələrinizin siyahısı. Faylı dəqiq saxlayın və keçidlərinin işlək olduğundan əmin olun. Onu crawlerləri içəri buraxmağın əvəzi saymayın: firewall-u crawler-i rədd edən və ya robots.txt faylı ona icazə verməyən saytda llms.txt heç kimə kömək etmir.
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- llms.txt yoxlayıcısı və validatoru
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Tez-tez verilən suallar
Saytların neçə faizində llms.txt var?
Yoxladığımız ən məşhur 10 000 domenin 12,4%-i belə fayl dərc edir. Ana səhifəsi HTML ilə cavab verən domenlər arasında bu pay 16,7%-dir, ən böyük saytlarda isə daha yüksəkdir: ilk 1 000-də 22,6%.
llms.txt faylı olan saytlar AI crawlerlərinə daha tez-tez icazə verir?
Məlumatlarımıza görə, bəli: onlar AI axtarış və istifadəçi crawlerlərini 1,4% hallarda bloklayır, faylı olmayan saytlarda isə bu göstərici 15,0%-dir. Bu, korrelyasiyadır. Faylın crawlerlərin saytla davranışını dəyişdiyini göstərmir.
llms.txt AI köməkçiləri tərəfindən istinad almağıma kömək edir?
Məlumatlarımız buna cavab verə bilməz. Onlar faylı hansı saytların dərc etdiyini sayır, köməkçinin ondan istifadə edib-etmədiyini yox, əsas AI axtarış crawlerləri də onu oxuduqlarını bildirmir. Crawl oluna bilən səhifələr və açıq giriş daha vacibdir.
Saytda həqiqi llms.txt olub-olmadığını necə anlamaq olar?
/llms.txt faylını istəyin və həmin ünvanda 200 cavabı gəldiyini, cavab gövdəsinin HTML səhifə olmayan mətn olduğunu yoxlayın. Ana səhifəyə və ya giriş səhifəsinə yönləndirmə llms.txt deyil.
Mənbələr
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers