რა არის llms-full.txt და ღირს თუ არა მისი გამოქვეყნება llms.txt-ის გვერდით?
llms-full.txt არის ერთი ტექსტური ფაილი, რომელიც საიტის დოკუმენტაციის სრულ ტექსტს შეიცავს, ჩვეულებრივ Markdown-ში, და მოკლე ინდექსის /llms.txt-ის გვერდით ქვეყნდება. ის llmstxt.org-ზე წარმოდგენილი llms.txt-ის წინადადების ნაწილი არ არის, არამედ შეთანხმებაა, რომელიც დოკუმენტაციის საიტებმა აიღეს. გამოაქვეყნეთ ის, თუ დეველოპერების დოკუმენტაცია გაქვთ, რომელსაც აგენტები მთლიანად ტვირთავენ; ბიზნეს-საიტების უმეტესობისთვის კარგი llms.txt და სუფთა გვერდები საკმარისია.
ჩვენი სტატია იმაზე, თუ რა არის llms.txt, თავად ინდექს-ფაილს ეხება: მის ფორმატს, წარმოშობას და იმას, ვინ კითხულობს მას. ეს სტატია მის უფრო დიდ „ძმაზეა“. თუ დოკუმენტაციის საიტზე llms-full.txt გინახავთ, ან შემმოწმებელმა გკითხათ, გაქვთ თუ არა ის, აქ გაიგებთ, რა არის ეს ფაილი, რას ამბობს და რას არ ამბობს წინადადება და ღირს თუ არა მასზე შრომა.
ამ გვერდზე
- არის თუ არა llms-full.txt llms.txt-ის სპეციფიკაციის ნაწილი?
- რით განსხვავდება llms-full.txt llms.txt-ისა და .md გვერდებისგან?
- ვინ აქვეყნებს llms-full.txt-ს?
- კითხულობენ თუ არა AI კრაულერები llms.txt-ს ან llms-full.txt-ს?
- რა ზომის შეიძლება იყოს llms-full.txt?
- როგორ შევქმნა და შევამოწმო llms-full.txt?
- უნდა იყოს თუ არა llms-full.txt პრიორიტეტი?
არის თუ არა llms-full.txt llms.txt-ის სპეციფიკაციის ნაწილი?
არა. llmstxt.org-ზე წარმოდგენილი წინადადება, ახლა მეორე ვერსიაში (შეცვლილია 2026 წლის 10 აგვისტოს), განსაზღვრავს მხოლოდ llms.txt სახელის ფაილებს, საიტის ძირში ან ნებისმიერ გზაზე, სადაც ფაილი თავისი გზის ქვეშ მყოფ გვერდებს ფარავს. ის ასევე გვთავაზობს ცალკეული გვერდების Markdown ვერსიებს, გვერდის URL-ზე .md-ის დამატებით (page.html.md) ან გაფართოების ჩანაცვლებით (page.md), და index.html.md-ს ან index.md-ს ფაილის სახელის გარეშე URL-ებისთვის.
ერთი ფაილი მთელი კონტენტით სპეციფიკაციაში არსად ჩანს. პირველი ვერსია აღწერდა ხელსაწყოს, llms_txt2ctx, რომელიც llms.txt-ს ერთ კონტექსტურ ფაილად აფართოებდა. მეორე ვერსიამ ეს ხელსაწყო წინადადებიდან ამოიღო და ნაცვლად ამისა მოსალოდნელ გამოყენებას აღწერს: აგენტები კითხულობენ ან ეძებენ llms.txt-ში, შემდეგ კი საჭირო ბმულებს მიჰყვებიან. FastHTML-ის დოკუმენტაცია, წინადადების საკუთარი მაგალითი, კვლავ აწვდის გაფართოებულ ფაილს სახელით llms-ctx-full.txt.
ასე რომ, llms-full.txt დასახელების შეთანხმებაა. „ყველა გვერდი, ერთმანეთის მიყოლებით“-ის მიღმა შეთანხმებული ფორმატი არ არსებობს.
რით განსხვავდება llms-full.txt llms.txt-ისა და .md გვერდებისგან?
წინადადების მეორე ვერსია ამატებს გზას, რომლითაც აგენტები პოულობენ გვერდის Markdown ვერსიას და მის მფარავ llms.txt-ს, სტანდარტული ბმულის მიმართებებით HTTP ჰედერში ან გვერდის HTML-ში:
llms.txtინდექსია: სათაური, შეჯამება და ბმულების სიები. წინადადების თანახმად, ის იმდენად პატარა უნდა იყოს, რომ მოდელის კონტექსტში ჩაეტიოს..mdგვერდები ცალკეული გვერდების სუფთა ასლებია. ისინი წინადადების ნაწილია, და აგენტი მხოლოდ საჭიროებს იღებს.llms-full.txtყველა გვერდია ერთ ფაილად გაერთიანებული. ერთი მოთხოვნა აგენტს ყველაფერს აძლევს, ზომის ხარჯზე.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt-ისთვის ბმულის ეკვივალენტური მიმართება არ არსებობს. საიტები, რომლებიც მას აქვეყნებენ, ჩვეულებრივ llms.txt-იდან მიუთითებენ მასზე.
ვინ აქვეყნებს llms-full.txt-ს?
ძირითადად დეველოპერების დოკუმენტაციის საიტები. როცა 2026 წლის 17 ნოემბერს შევამოწმეთ, ეს ფაილები ხელმისაწვდომი იყო:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, დაახლოებით 71 MB. მისი ძირეული llms.txt 17 KB-ია და თითოეული პროდუქტის ცალკე llms.txt-ზე მიუთითებს. - Anthropic:
platform.claude.com/llms-full.txt, დაახლოებით 53 MB. 102 KB-იანი llms.txt მასზე ბოლოში მიუთითებს. - OpenAI:
developers.openai.com/llms-full.txt, დაახლოებით 9,7 MB, ფაილში აღწერილი როგორც ერთფაილიანი Markdown ექსპორტი. მისი llms.txt 6 KB-ია. - Perplexity:
docs.perplexity.ai/llms-full.txt, დაახლოებით 4 MB,Source:ხაზით, რომელიც თითოეული გვერდის URL-ს უთითებს. მისი llms.txt 46 KB-ია.
ოთხივე API-ისა და პროდუქტების დოკუმენტაციაა, რომელსაც დეველოპერები და კოდის აგენტები კითხულობენ. llms-full.txt 1000 ყველაზე პოპულარული დომენის ჩვენს 2026 წლის ნოემბრის კვლევაში არ დაგვითვლია; მათგან 132 აქვეყნებდა llms.txt-ს, და მათგან 117 llmstxt.org-ის ფორმატს მიჰყვებოდა.
კითხულობენ თუ არა AI კრაულერები llms.txt-ს ან llms-full.txt-ს?
არა, ჩვენ მიერ ნაპოვნი არცერთი დოკუმენტაციის მიხედვით. OpenAI-ის, Anthropic-ისა და Perplexity-ის კრაულერების გვერდები მათ ბოტებსა და robots.txt-ის ტოკენებს აღწერს, და არცერთი არ ამბობს, რომ ეს კრაულერები სხვა საიტებზე llms.txt-ს ან llms-full.txt-ს კითხულობენ. Google-ის თქმით, AI Overviews-სა ან AI Mode-ში გამოსაჩენად ახალი მანქანურად წაკითხვადი ფაილების, AI ტექსტური ფაილების ან მარკირების შექმნა საჭირო არ არის.
საკუთარი დოკუმენტაციისთვის ამ ფაილების გამოქვეყნება იგივე არ არის, რაც თქვენი ფაილების წაკითხვა. llmstxt.org-ის თქმით, ფაილები ყველაზე მეტად პროგრამული უზრუნველყოფის დოკუმენტაციისთვის გამოიყენება, სადაც კოდის აგენტები მათ მიჰყვებიან. Chrome-ის Lighthouse-ს აქვს llms.txt-ის აუდიტი, მაგრამ ის მხოლოდ /llms.txt-ის მიღებისას სერვერის შეცდომას აფიქსირებს; ფაილის არქონა შეუსაბამოდ ითვლება, და აუდიტი llms-full.txt-ს არ ახსენებს.
თუ საკუთარი საიტისთვის მტკიცებულება გინდათ, სერვერის ლოგებში მოძებნეთ /llms-full.txt-ზე მოთხოვნები და ნახეთ user agent-ები.
რა ზომის შეიძლება იყოს llms-full.txt?
ლიმიტი დოკუმენტირებული არ არის, რადგან ფაილს არცერთი სპეციფიკაცია არ განსაზღვრავს. პრაქტიკული ლიმიტი მკითხველია. llmstxt.org აღნიშნავს, რომ კონტექსტის ფანჯრები, თუმცა ადრინდელზე დიდია, ვებსაიტების უმეტესობისთვის მთლიანად ჯერ კიდევ მცირეა. რამდენიმემეგაბაიტიანი ფაილის ერთი გავლით წაკითხვა შეუძლებელია, ამიტომ აგენტს მასში ძებნა ან ნაწილ-ნაწილ კითხვა უწევს, რასაც llms.txt-ის ინდექსი და .md გვერდები უკვე იძლევა.
თუ მაინც აქვეყნებთ:
- დიდი დოკუმენტაცია პროდუქტების ან განყოფილებების მიხედვით დაყავით, როგორც Cloudflare აკეთებს თითოეული პროდუქტის llms.txt ფაილებით, და ერთი უზარმაზარი ფაილი ნუ გამოაქვეყნეთ.
- თითოეული გვერდის თავზე წყაროს URL მიუთითეთ, რომ ფაილზე აგებულმა პასუხმა სწორ გვერდზე მაინც მიუთითოს.
- ჩართეთ მხოლოდ საჯარო კონტენტი. ფაილის მთლიანად დაკოპირება ადვილია, და robots.txt-ის წესები მასზე ისევე ვრცელდება, როგორც ნებისმიერ სხვა URL-ზე, სწავლების კრაულერების ბლოკების ჩათვლით.
- ყოველი დეპლოის დროს თავიდან დააგენერირეთ. მოძველებული სრული ასლი მის არქონაზე უარესია, რადგან მოძველებულ ფაქტებს ერთ მოსახერხებელ ადგილას იმეორებს.
როგორ შევქმნა და შევამოწმო llms-full.txt?
დაიწყეთ ვალიდური llms.txt-ით და თქვენი გვერდების Markdown ვერსიებით; ამის შემდეგ llms-full.txt აწყობის ერთი ნაბიჯია. ეს სკრიპტი კითხულობს თქვენს llms.txt-ს, იღებს ყველა მიბმულ .md გვერდს და აერთიანებს მათ, თითოეულისთვის წყაროს ხაზით:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") შემდეგ შედეგი შეამოწმეთ. ფაილმა უნდა დააბრუნოს სტატუსი 200 როგორც text/plain ან text/markdown და არა HTML გვერდი, ხოლო მისი გვერდების რაოდენობა უნდა ემთხვეოდეს თქვენს llms.txt-ში არსებულ ბმულებს. AISeeWhy-ის უფასო llms.txt-ის გენერატორი ინდექსის დაწერაში დაგეხმარებათ, ხოლო უფასო llms.txt-ის ვალიდატორი მას llmstxt.org-ის ფორმატთან ამოწმებს: სათაური, შეჯამება, განყოფილებები და ბმულები, თითოეული პრობლემისთვის ხაზის ნომრით. llms-full.txt-ს ფორმატი, რომლითაც ვალიდაცია შეიძლება, არ აქვს, ამიტომ ზემოთ მოცემული შემოწმებებია სასარგებლო.
უნდა იყოს თუ არა llms-full.txt პრიორიტეტი?
საიტების უმეტესობისთვის არა. ორივე ფაილი მხოლოდ მას შემდეგ გეხმარებათ, რაც მკითხველს თქვენს გვერდებამდე მისვლა შეუძლია. AISeeWhy-ის უფასო შემოწმება გვერდს 16 AI და საძიებო კრაულერის სახელით იღებს ბრაუზერის გვერდით და აჩვენებს, აჩერებს თუ არა მათ robots.txt, ფაირვოლი ან JavaScript, რაც AI-ში ხილვადობისთვის ამ ტექსტურ ფაილებზე მეტს წყვეტს.
ამ პრობლემის გამოსწორებები
- llms.txt არ არის
- llms.txt სათაურით არ იწყება
- გვერდი llms.txt-ში არ არის
- llms.txt ზედმეტად დიდია: 1200 KB
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- llms.txt-ის შემმოწმებელი და ვალიდატორი
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ხშირად დასმული კითხვები
მოითხოვს თუ არა llms.txt-ის წინადადება llms-full.txt-ს?
არა. წინადადება განსაზღვრავს llms.txt-სა და გვერდების Markdown ვერსიებს. llms-full.txt შეთანხმებაა, რომელსაც დოკუმენტაციის ზოგი საიტი მიჰყვება.
რა განსხვავებაა llm.txt-სა და llms.txt-ს შორის?
წინადადებაში ფაილის სახელია llms.txt, s-ით. ფაილი /llm.txt-ზე წინადადებას არ მიჰყვება, და ხელსაწყოები, რომლებიც llms.txt-ს ეძებენ, მას ვერ იპოვიან.
სად უნდა განთავსდეს llms-full.txt?
ამას არცერთი სპეციფიკაცია არ ამბობს. ზემოთ მოცემულ მაგალითებში ის llms.txt-ის გვერდით, დოკუმენტაციის საიტის ძირშია, და llms.txt-იდან მასზე ბმულია, რომ მკითხველებმა იპოვონ.
ეხმარება თუ არა llms-full.txt Google AI Overviews-ს?
Google-ის თქმით, AI Overviews-სა ან AI Mode-ში გამოსაჩენად ახალი მანქანურად წაკითხვადი ფაილები ან AI ტექსტური ფაილები არ გჭირდებათ. გვერდები ინდექსირებული და სნიპეტის ჩვენებისთვის ვარგისი უნდა იყოს.
შემიძლია llms-full.txt llms.txt-ის შემმოწმებლით შევამოწმო?
მხოლოდ ნაწილობრივ. llms.txt-ის შემმოწმებელი ინდექსის ფორმატს ამოწმებს, რომელსაც სრული კონტენტის ფაილი არ მიჰყვება. llms-full.txt-ისთვის შეამოწმეთ სტატუს-კოდი, კონტენტის ტიპი, ზომა და ის, ემთხვევა თუ არა თქვენს ამჟამინდელ გვერდებს.
წყაროები
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI კრაულერების წვდომის ანგარიში, 2026-11