რა არის llms.txt და ღირს თუ არა მისი დამატება?
llms.txt არის შემოთავაზებული Markdown ფაილი /llms.txt მისამართზე, რომელიც AI ხელსაწყოებს თქვენი საიტის მოკლე აღწერასა და მისი ყველაზე სასარგებლო გვერდების ბმულების სიას აძლევს. ეს საზოგადოების წინადადებაა და არა სტანდარტი, ხოლო დიდი AI საძიებო კრაულერები არ აცხადებენ, რომ მას იყენებენ. მისი დამატება იაფია, მაგრამ ის კრაულინგისთვის ხელმისაწვდომ HTML-ს ვერ ჩაანაცვლებს.
llms.txt დიდ ყურადღებას იპყრობს და ხშირად მას AI-ის robots.txt-ად წარმოადგენენ. ეს სხვა რამეა: robots.txt აცხადებს, რისი მიღება შეუძლიათ კრაულერებს, llms.txt კი წასაკითხი გზამკვლევია, რომელიც AI ხელსაწყოებს წაკითხვის ღირს კონტენტზე მიუთითებს. აი, რას ამბობს წინადადება, რა არის ცნობილი მის გამოყენებაზე და როგორ შევქმნათ ის.
ამ გვერდზე
საიდან მოდის llms.txt?
Jeremy Howard-მა /llms.txt ფაილი 2024 წლის სექტემბერში შემოგვთავაზა, წინადადებას კი llmstxt.org-ზე უძღვებიან. მისი მიზანია ერთი ფაილის სტანდარტიზება, რომელიც ენობრივ მოდელებსა და აგენტებს ვებსაიტის გამოყენებაში ეხმარება ინფერენსის დროს, მაგალითად, როცა კოდის ასისტენტს ბიბლიოთეკის დოკუმენტაცია სჭირდება, და არა სწავლებისთვის.
იდეა რეალურ პრობლემას პასუხობს. ვებგვერდები შეიცავს ნავიგაციას, სკრიპტებს, ბანერებსა და განლაგებას. მოკლე, შერჩეული Markdown ფაილი ძირითადი გვერდების სუფთა ვერსიების ბმულებით მოდელისთვის უფრო მოსახერხებელია შეზღუდული კონტექსტის ფანჯარაში.
რა შედის llms.txt ფაილში?
ფაილი Markdown-ია ფიქსირებული თანმიმდევრობით. სავალდებულოა მხოლოდ პირველი ელემენტი:
- H1 საიტის ან პროექტის სახელით (სავალდებულო).
- ციტატის ბლოკი (blockquote) საიტის მოკლე აღწერით.
- არასავალდებულო აბზაცები ან სიები დამატებითი დეტალებით, სათაურების გარეშე.
- H2 სექციები, თითოეული Markdown ბმულების სიით ფორმატში
[name](url), სურვილისამებრ ორწერტილითა და შენიშვნით. - არასავალდებულო სექცია სახელით
Optionalმეორეხარისხოვანი ბმულებისთვის, რომლებიც ხელსაწყოს შეუძლია გამოტოვოს, როცა ნაკლები კონტექსტი სჭირდება.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) წინადადება ასევე გვთავაზობს გვერდების Markdown ვერსიების განთავსებას იმავე URL-ზე .md-ის დამატებით, მაგალითად page.html.md, რომ ხელსაწყოებმა სუფთა ტექსტი მიიღონ.
ვინ კითხულობს llms.txt-ს სინამდვილეში დღეს?
აქ სიფრთხილე ღირს. llmstxt.org-ის თქმით, ფაილები ყველაზე მეტად პროგრამული უზრუნველყოფის დოკუმენტაციისთვის გამოიყენება, სადაც კოდის აგენტები მათ მიჰყვებიან. OpenAI, Anthropic, Google და Perplexity კრაულერების იმ დოკუმენტაციაში, რომელიც განვიხილეთ, llms.txt-ს არ ასახელებენ იმ სიგნალებს შორის, რომლებსაც მათი საძიებო კრაულერები იყენებენ.
Google საკუთარი Search ფუნქციებისთვის უფრო შორსაც მიდის. მისი რეკომენდაციები AI Overviews-სა და AI Mode-ზე ამბობს, რომ მათში გამოსაჩენად ახალი მანქანურად წაკითხვადი ფაილების, AI ტექსტური ფაილების ან მარკირების შექმნა საჭირო არ არის. Google Search-ისთვის llms.txt-ს გამოცხადებული როლი არ აქვს.
ასე რომ, გულწრფელი პასუხია: ზოგმა AI ხელსაწყომ, ძირითადად კოდის ასისტენტებმა და აგენტებმა, რომლებსაც საიტზე მიუთითებენ, შეიძლება წაიკითხოს ის. კრაულერები, რომლებიც წყვეტენ, ციტირებს თუ არა AI ძიება თქვენს გვერდს, თქვენს HTML-ს ეყრდნობიან.
თავადაც შეგიძლიათ ნახოთ, კითხულობს თუ არა რამე თქვენს ფაილს. მოძებნეთ სერვერის ან CDN-ის ლოგებში მოთხოვნები /llms.txt-ზე და ნახეთ user agent-ები. თუ რამდენიმე კვირის განმავლობაში მოთხოვნები არ ჩანს, ეს თქვენი საიტისთვის მის ღირებულებაზე ნებისმიერ ზოგად მტკიცებაზე მეტს გეტყვით.
მაინც დავამატო?
საიტების უმეტესობისთვის ეს იაფი, მაგრამ გაურკვეველი სარგებლის დამატებაა. მას რამდენიმე წუთი სჭირდება, ძიებაში თქვენს ხილვადობას ვერ დააზიანებს და შეიძლება დაეხმაროს აგენტებს, რომლებიც მას ეძებენ. ის ყველაზე სასარგებლოა დოკუმენტაციისთვის, დეველოპერების ხელსაწყოებისა და პროდუქტებისთვის, რომლებსაც ბევრი საცნობარო მასალა აქვთ.
რისი გაკეთებაც მას არ შეუძლია, ეს წვდომის პრობლემების გამოსწორებაა. თუ ფაირვოლი AI კრაულერებს ბლოკავს, თქვენი robots.txt მათ კრძალავს ან თქვენი კონტენტი მხოლოდ JavaScript-ის შესრულების შემდეგ ჩნდება, llms.txt ვერაფერს შეცვლის. ჯერ ეს გამოასწორეთ.
როგორ დავწერო კარგი llms.txt?
- განათავსეთ ის
https://yourdomain.com/llms.txt-ზე და მიაწოდეთ ჩვეულებრივ ტექსტად 200 სტატუსით და არა HTML გვერდად. - აღწერა ისე დაწერეთ, როგორც საიტს ახალ კოლეგას ორ წინადადებაში აუხსნიდით: რა არის და ვისთვისაა.
- ჩამოთვალეთ გვერდები, რომლებიც რეალურ კითხვებს პასუხობს: პროდუქტი, ფასები, დოკუმენტაცია, წესები. გამოტოვეთ თეგების გვერდები და არქივები.
- გამოიყენეთ აბსოლუტური URL-ები და სია იმდენად მოკლე შეინარჩუნეთ, რომ სასარგებლო დარჩეს; საიტების უმეტესობისთვის რამდენიმე ათეული ბმული სავსებით საკმარისია.
- განაახლეთ ის დროულად. ფაილი, რომელიც წაშლილ გვერდებზე მიუთითებს, მის არქონაზე უარესია.
- ნებართვების გამოსაცხადებლად ნუ გამოიყენებთ. წვდომის წესების ადგილი robots.txt-შია.
როგორ ეპყრობა AISeeWhy llms.txt-ს?
AISeeWhy ამოწმებს, აქვს თუ არა თქვენს საიტს llms.txt და არის თუ არა შემოწმებული გვერდი მასში ჩამოთვლილი. რადგან AI კრაულერები მას დღეს იშვიათად კითხულობენ, ფაილის არქონა P3 მიგნებაა, ყველაზე დაბალი პრიორიტეტით, რეპორტი კი შეიცავს მონახაზს, რომელიც თქვენი გვერდის სათაურის, აღწერისა და sitemap-ის საფუძველზეა შექმნილი და რომლის რედაქტირება და გამოქვეყნებაც შეგიძლიათ.
ამ პრობლემის გამოსწორებები
- აგენტების აღმოჩენის ფაილი ვერ იკითხება
- აგენტებისთვის განკუთვნილი Markdown ვერსია გაუმართავია
- Markdown პასუხი Vary: Accept-ის გარეშე
- AI აგენტებისთვის Markdown ვერსია არ არის
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- llms.txt-ის შემმოწმებელი და ვალიდატორი
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
არის თუ არა llms.txt ოფიციალური სტანდარტი?
არა. ეს საზოგადოების წინადადებაა, რომელიც llmstxt.org-ზეა გამოქვეყნებული. ის არც IETF-ის სტანდარტია და არც W3C-ის, და არცერთი AI მომწოდებელი არ არის ვალდებული, წაიკითხოს ის.
ბლოკავს თუ არა llms.txt AI სწავლებას?
არა. ეს ბმულების სიაა და არა ნებართვების ნაკრები. სწავლებაზე უარის სათქმელად გამოიყენეთ robots.txt-ის სასწავლო ტოკენები, როგორიცაა GPTBot, ClaudeBot ან Google-Extended.
მჭირდება თუ არა llms.txt Google AI Overviews-ში გამოსაჩენად?
არა. Google-ის თქმით, AI Overviews-სა ან AI Mode-ში გამოსაჩენად AI ტექსტური ფაილები ან სპეციალური მარკირება საჭირო არ არის. გვერდი უნდა იყოს ინდექსირებული და ფრაგმენტით ჩვენების პირობებს აკმაყოფილებდეს.
შეიძლება თუ არა llms.txt ქვესაქაღალდეში იყოს?
წინადადების მიმდინარე ვერსია უშვებს ფაილს ქვეგზაზე, მაგალითად /docs/llms.txt, რომელიც ამ გზის ქვეშ არსებულ გვერდებს მოიცავს. საიტების უმეტესობას მხოლოდ ერთი ფაილი სჭირდება ძირში.
წყაროები
- llmstxt.org: ფაილი /llms.txt
- Google Search Central: AI ფუნქციები და თქვენი ვებსაიტი
- OpenAI: OpenAI-ის კრაულერების მიმოხილვა