llms.txt nədir və onu əlavə etməyə dəyərmi?

Dərc olunub

Qısa cavab

llms.txt AI alətlərinə saytınızın qısa xülasəsini və onun ən faydalı səhifələrinə keçidlərin siyahısını verən, /llms.txt ünvanında yerləşən təklif olunmuş Markdown faylıdır. Bu, standart deyil, icma təklifidir və böyük AI axtarış botları ondan istifadə etdiklərini demir. Onu əlavə etmək ucuzdur, lakin o, taranabilən HTML-i əvəz etmir.

llms.txt çox diqqət çəkir və tez-tez AI-ın robots.txt-i kimi təqdim olunur. Əslində o, başqa bir şeydir: robots.txt botların nəyi yükləyə biləcəyini bildirir, llms.txt isə AI alətlərini oxumağa dəyən məzmuna yönləndirən oxu bələdçisidir. Aşağıda təklifin nə dediyi, onun istifadəsi haqqında nəyin məlum olduğu və onu necə yazmaq olduğu var.

Bu səhifədə
  1. llms.txt haradan yaranıb?
  2. llms.txt faylına nə yazılır?
  3. Bu gün llms.txt-i əslində kim oxuyur?
  4. Yenə də onu əlavə etməliyəmmi?
  5. Yaxşı llms.txt necə yazılır?
  6. AISeeWhy llms.txt-ə necə yanaşır?

llms.txt haradan yaranıb?

Jeremy Howard /llms.txt faylını 2024-cü ilin sentyabrında təklif edib və təklif llmstxt.org saytında saxlanılır. Onun məqsədi dil modellərinə və agentlərə vebsaytdan təlim üçün deyil, inference zamanı istifadə etməyə kömək edən vahid faylı standartlaşdırmaqdır, məsələn kod assistentinə kitabxananın sənədləri lazım olanda.

İdeya real problemə cavabdır. Veb səhifələrdə naviqasiya, skriptlər, bannerlər və maket olur. Əsas səhifələrin təmiz versiyalarına keçidləri olan qısa, seçilmiş Markdown faylı ilə model məhdud kontekst pəncərəsində daha asan işləyir.

llms.txt faylına nə yazılır?

Fayl müəyyən ardıcıllığı olan Markdown-dur. Yalnız birinci element məcburidir:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

Təklif həmçinin alətlərin təmiz mətn yükləyə bilməsi üçün səhifələrin Markdown versiyalarını eyni URL-ə .md əlavə etməklə, məsələn page.html.md kimi təqdim etməyi məsləhət görür.

Bu gün llms.txt-i əslində kim oxuyur?

Burada ehtiyatlı olmaq lazımdır. llmstxt.org saytı bildirir ki, bu fayllardan ən çox kod agentlərinin onlara əməl etdiyi proqram sənədlərində istifadə olunur. Baxdığımız bot sənədlərində OpenAI, Anthropic, Google və Perplexity llms.txt-i axtarış botlarının istifadə etdiyi siqnallar sırasında göstərmir.

Google öz Search funksiyaları üçün daha da irəli gedir. Onun AI Overviews və AI Mode üzrə tövsiyələrində deyilir ki, onlarda görünmək üçün yeni maşın tərəfindən oxunan fayllar, AI mətn faylları və ya nişanlama yaratmaq lazım deyil. Google Search üçün llms.txt-in bildirilmiş heç bir rolu yoxdur.

Deməli, dürüst cavab belədir: bəzi AI alətləri, əsasən sayta yönləndirilən kod assistentləri və agentlər onu oxuya bilər. AI axtarışının səhifənizə istinad edib-etməyəcəyini həll edən botlar isə HTML-inizlə işləyir.

Faylınızı nəyinsə oxuyub-oxumadığını özünüz görə bilərsiniz. Server və ya CDN loglarınızda /llms.txt sorğularını axtarın və user agent-lərə baxın. Bir neçə həftə ərzində heç bir sorğu görünməsə, bu, saytınız üçün onun dəyəri barədə istənilən ümumi iddiadan daha çox şey deyir.

Yenə də onu əlavə etməliyəmmi?

Əksər saytlar üçün bu, ucuz, lakin faydası qeyri-müəyyən əlavədir. Bir neçə dəqiqə çəkir, axtarışda görünmənizə zərər verə bilməz və onu axtaran agentlərə kömək edə bilər. Ən çox sənədlər, developer alətləri və çoxlu arayış materialı olan məhsullar üçün faydalıdır.

Onun edə bilmədiyi isə giriş problemlərini həll etməkdir. Firewall AI botlarını bloklayırsa, robots.txt onları qadağan edirsə və ya məzmununuz yalnız JavaScript işlədikdən sonra görünürsə, llms.txt heç nəyi dəyişmir. Əvvəlcə bunları düzəldin.

Yaxşı llms.txt necə yazılır?

AISeeWhy llms.txt-ə necə yanaşır?

AISeeWhy saytınızda llms.txt olub-olmadığını və yoxlanılan səhifənin orada göstərilib-göstərilmədiyini yoxlayır. AI botları hazırda onu nadir hallarda oxuduğu üçün faylın olmaması ən aşağı prioritetli P3 tapıntısıdır və hesabata səhifənizin başlığı, təsviri və sitemap-i əsasında qurulmuş, redaktə edib dərc edə biləcəyiniz qaralama daxildir.

Bu problem üçün düzəlişlər

Pulsuz alətlər

Növbəti addımlar

Bu məqalədəki botlar

Tez-tez verilən suallar

llms.txt rəsmi standartdırmı?

Xeyr. Bu, llmstxt.org saytında dərc olunmuş icma təklifidir. O, IETF və ya W3C standartı deyil və heç bir AI şirkəti onu oxumağa borclu deyil.

llms.txt AI təlimini bloklayırmı?

Xeyr. Bu, icazələr toplusu deyil, keçidlər siyahısıdır. Təlimdən imtina etmək üçün robots.txt-də GPTBot, ClaudeBot və ya Google-Extended kimi təlim tokenlərindən istifadə edin.

Google AI Overviews-da görünmək üçün llms.txt lazımdırmı?

Xeyr. Google bildirir ki, AI Overviews və ya AI Mode-da görünmək üçün AI mətn faylları və ya xüsusi nişanlama lazım deyil. Səhifə indekslənməli və snippet göstərə bilməlidir.

llms.txt alt qovluqda yerləşə bilərmi?

Təklifin cari versiyası həmin yol altındakı səhifələri əhatə edən, /docs/llms.txt kimi alt yolda fayla icazə verir. Əksər saytlara kökdə bir fayl kifayətdir.

Mənbələr

Digər məqalələr