llms.txt nədir və onu əlavə etməyə dəyərmi?
llms.txt AI alətlərinə saytınızın qısa xülasəsini və onun ən faydalı səhifələrinə keçidlərin siyahısını verən, /llms.txt ünvanında yerləşən təklif olunmuş Markdown faylıdır. Bu, standart deyil, icma təklifidir və böyük AI axtarış botları ondan istifadə etdiklərini demir. Onu əlavə etmək ucuzdur, lakin o, taranabilən HTML-i əvəz etmir.
llms.txt çox diqqət çəkir və tez-tez AI-ın robots.txt-i kimi təqdim olunur. Əslində o, başqa bir şeydir: robots.txt botların nəyi yükləyə biləcəyini bildirir, llms.txt isə AI alətlərini oxumağa dəyən məzmuna yönləndirən oxu bələdçisidir. Aşağıda təklifin nə dediyi, onun istifadəsi haqqında nəyin məlum olduğu və onu necə yazmaq olduğu var.
Bu səhifədə
llms.txt haradan yaranıb?
Jeremy Howard /llms.txt faylını 2024-cü ilin sentyabrında təklif edib və təklif llmstxt.org saytında saxlanılır. Onun məqsədi dil modellərinə və agentlərə vebsaytdan təlim üçün deyil, inference zamanı istifadə etməyə kömək edən vahid faylı standartlaşdırmaqdır, məsələn kod assistentinə kitabxananın sənədləri lazım olanda.
İdeya real problemə cavabdır. Veb səhifələrdə naviqasiya, skriptlər, bannerlər və maket olur. Əsas səhifələrin təmiz versiyalarına keçidləri olan qısa, seçilmiş Markdown faylı ilə model məhdud kontekst pəncərəsində daha asan işləyir.
llms.txt faylına nə yazılır?
Fayl müəyyən ardıcıllığı olan Markdown-dur. Yalnız birinci element məcburidir:
- Saytın və ya layihənin adı olan H1 (məcburi).
- Saytın nə olduğunu qısaca izah edən sitat bloku.
- Başlıqsız, daha ətraflı məlumat verən istəyə bağlı abzaslar və ya siyahılar.
- Hər birində
[name](url)formasında Markdown keçidləri siyahısı olan, istəyə görə iki nöqtə və qeydlə davam edən H2 bölmələri. - Alətin daha az kontekst lazım olanda ötürə biləcəyi ikinci dərəcəli keçidlər üçün
Optionaladlı istəyə bağlı bölmə.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) Təklif həmçinin alətlərin təmiz mətn yükləyə bilməsi üçün səhifələrin Markdown versiyalarını eyni URL-ə .md əlavə etməklə, məsələn page.html.md kimi təqdim etməyi məsləhət görür.
Bu gün llms.txt-i əslində kim oxuyur?
Burada ehtiyatlı olmaq lazımdır. llmstxt.org saytı bildirir ki, bu fayllardan ən çox kod agentlərinin onlara əməl etdiyi proqram sənədlərində istifadə olunur. Baxdığımız bot sənədlərində OpenAI, Anthropic, Google və Perplexity llms.txt-i axtarış botlarının istifadə etdiyi siqnallar sırasında göstərmir.
Google öz Search funksiyaları üçün daha da irəli gedir. Onun AI Overviews və AI Mode üzrə tövsiyələrində deyilir ki, onlarda görünmək üçün yeni maşın tərəfindən oxunan fayllar, AI mətn faylları və ya nişanlama yaratmaq lazım deyil. Google Search üçün llms.txt-in bildirilmiş heç bir rolu yoxdur.
Deməli, dürüst cavab belədir: bəzi AI alətləri, əsasən sayta yönləndirilən kod assistentləri və agentlər onu oxuya bilər. AI axtarışının səhifənizə istinad edib-etməyəcəyini həll edən botlar isə HTML-inizlə işləyir.
Faylınızı nəyinsə oxuyub-oxumadığını özünüz görə bilərsiniz. Server və ya CDN loglarınızda /llms.txt sorğularını axtarın və user agent-lərə baxın. Bir neçə həftə ərzində heç bir sorğu görünməsə, bu, saytınız üçün onun dəyəri barədə istənilən ümumi iddiadan daha çox şey deyir.
Yenə də onu əlavə etməliyəmmi?
Əksər saytlar üçün bu, ucuz, lakin faydası qeyri-müəyyən əlavədir. Bir neçə dəqiqə çəkir, axtarışda görünmənizə zərər verə bilməz və onu axtaran agentlərə kömək edə bilər. Ən çox sənədlər, developer alətləri və çoxlu arayış materialı olan məhsullar üçün faydalıdır.
Onun edə bilmədiyi isə giriş problemlərini həll etməkdir. Firewall AI botlarını bloklayırsa, robots.txt onları qadağan edirsə və ya məzmununuz yalnız JavaScript işlədikdən sonra görünürsə, llms.txt heç nəyi dəyişmir. Əvvəlcə bunları düzəldin.
Yaxşı llms.txt necə yazılır?
- Onu
https://yourdomain.com/llms.txtünvanında yerləşdirin və HTML səhifəsi kimi deyil, 200 statusu ilə adi mətn kimi verin. - Xülasəni saytı yeni həmkara iki cümlə ilə izah etdiyiniz kimi yazın: nədir və kim üçündür.
- Real suallara cavab verən səhifələri siyahıya alın: məhsul, qiymətlər, sənədlər, siyasətlər. Teq səhifələrini və arxivləri ötürün.
- Mütləq URL-lərdən istifadə edin və siyahını faydalı qalacaq qədər qısa saxlayın; əksər saytlar üçün bir neçə onlarla keçid kifayətdir.
- Onu aktual saxlayın. Silinmiş səhifələrə keçid verən fayl heç olmamasından pisdir.
- Ondan icazələri bildirmək üçün istifadə etməyin. Giriş qaydalarının yeri robots.txt-dir.
AISeeWhy llms.txt-ə necə yanaşır?
AISeeWhy saytınızda llms.txt olub-olmadığını və yoxlanılan səhifənin orada göstərilib-göstərilmədiyini yoxlayır. AI botları hazırda onu nadir hallarda oxuduğu üçün faylın olmaması ən aşağı prioritetli P3 tapıntısıdır və hesabata səhifənizin başlığı, təsviri və sitemap-i əsasında qurulmuş, redaktə edib dərc edə biləcəyiniz qaralama daxildir.
Bu problem üçün düzəlişlər
- Agent kəşf faylını oxumaq mümkün deyil
- Agentlər üçün Markdown versiyası işləmir
- Vary: Accept olmadan Markdown cavabı
- AI agentləri üçün Markdown versiyası yoxdur
Növbəti addımlar
- AI botları üçün robots.txt tester və yoxlayıcısı
- llms.txt yoxlayıcısı və validatoru
- Tam hesabat nümunəsinə baxın
- AI botlarının monitorinqi
- Planlar və qiymətlər
Bu məqalədəki botlar
Tez-tez verilən suallar
llms.txt rəsmi standartdırmı?
Xeyr. Bu, llmstxt.org saytında dərc olunmuş icma təklifidir. O, IETF və ya W3C standartı deyil və heç bir AI şirkəti onu oxumağa borclu deyil.
llms.txt AI təlimini bloklayırmı?
Xeyr. Bu, icazələr toplusu deyil, keçidlər siyahısıdır. Təlimdən imtina etmək üçün robots.txt-də GPTBot, ClaudeBot və ya Google-Extended kimi təlim tokenlərindən istifadə edin.
Google AI Overviews-da görünmək üçün llms.txt lazımdırmı?
Xeyr. Google bildirir ki, AI Overviews və ya AI Mode-da görünmək üçün AI mətn faylları və ya xüsusi nişanlama lazım deyil. Səhifə indekslənməli və snippet göstərə bilməlidir.
llms.txt alt qovluqda yerləşə bilərmi?
Təklifin cari versiyası həmin yol altındakı səhifələri əhatə edən, /docs/llms.txt kimi alt yolda fayla icazə verir. Əksər saytlara kökdə bir fayl kifayətdir.
Mənbələr
- llmstxt.org: The /llms.txt file
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers