llms-full.txt деген не және оны llms.txt-тің қасына жариялау керек пе?
llms-full.txt — сайт құжаттамасының толық мәтінін, әдетте Markdown түрінде, қамтитын және қысқа /llms.txt индексінің қасында жарияланатын жалғыз мәтіндік файл. Ол llmstxt.org-тағы llms.txt ұсынысының бөлігі емес, құжаттама сайттары қабылдаған келісім. Агенттер көптеп жүктейтін әзірлеушілер құжаттамасын жүргізсеңіз, оны жариялаңыз; бизнес сайттарының көбіне жақсы llms.txt пен таза беттер жеткілікті.
llms.txt деген не туралы мақаламыз индекс файлының өзін сипаттайды: оның форматын, шығу тегін және оны кім оқитынын. Бұл мақала оның үлкенірек туысы туралы. Құжаттама сайтында llms-full.txt көрген болсаңыз немесе тексеру құралы сізде ол бар ма деп сұраса, төменде бұл файл не екені, ұсыныс не айтып, не айтпайтыны және оған күш жұмсауға тұра ма, соны білесіз.
Осы бетте
- llms-full.txt llms.txt спецификациясының бөлігі ме?
- llms-full.txt-тің llms.txt пен .md беттерінен айырмашылығы неде?
- llms-full.txt-ті кім жариялайды?
- ЖИ краулерлері llms.txt немесе llms-full.txt оқи ма?
- llms-full.txt қаншалықты үлкен бола алады?
- llms-full.txt-ті қалай жасап, тексеремін?
- llms-full.txt басымдық болуы керек пе?
llms-full.txt llms.txt спецификациясының бөлігі ме?
Жоқ. llmstxt.org-тағы ұсыныс, қазір 2-нұсқасы (2026 жылғы 10 тамызда өзгертілген), тек llms.txt деп аталатын файлдарды анықтайды: сайт түбірінде немесе кез келген жолда, ал файл өз жолының астындағы беттерді қамтиды. Ол сондай-ақ жеке беттердің Markdown нұсқаларын ұсынады: бет URL-іне .md қосылған (page.html.md) немесе кеңейтімі ауыстырылған (page.md) түрде, ал файл аты жоқ URL-дер үшін index.html.md немесе index.md.
Бүкіл мазмұны бар жалғыз файл спецификацияның еш жерінде жоқ. 1-нұсқа llms.txt-ті бір контекст файлына кеңейтетін llms_txt2ctx құралын сипаттаған. 2-нұсқа бұл құралды ұсыныстан алып тастап, оның орнына күтілетін қолданысты айтады: агенттер llms.txt-ті оқиды немесе ішінен іздейді, содан кейін өздеріне керек сілтемелерге өтеді. Ұсыныстың өз мысалы FastHTML құжаттамасы әлі де llms-ctx-full.txt деп аталатын кеңейтілген файлды береді.
Сонымен llms-full.txt — атау келісімі. «Барлық беттер бірінен соң бірі» дегеннен басқа келісілген форматы жоқ.
llms-full.txt-тің llms.txt пен .md беттерінен айырмашылығы неде?
Ұсыныстың 2-нұсқасы HTTP тақырыбындағы немесе беттің HTML-індегі стандартты сілтеме қатынастары арқылы агенттерге беттің Markdown нұсқасын және оны қамтитын llms.txt-ті табу тәсілін қосады:
llms.txt— индекс: тақырып, қысқаша сипаттама және сілтемелер тізімдері. Ұсыныс ол модель контекстіне сыятындай шағын болуы керек дейді..mdбеттер — жеке беттердің таза көшірмелері. Олар ұсыныстың бөлігі, ал агент тек өзіне керектерін алады.llms-full.txt— бір файлға біріктірілген барлық беттер. Бір сұрау агентке бәрін береді, бірақ көлемі үлкен болады.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt үшін баламалы сілтеме қатынасы жоқ. Оны жариялайтын сайттар әдетте оған өз llms.txt файлынан сілтеме береді.
llms-full.txt-ті кім жариялайды?
Көбіне әзірлеушілерге арналған құжаттама сайттары. 2026 жылғы 17 қарашада тексергенімізде мына файлдар қолжетімді болды:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, шамамен 71 МБ. Оның түбірлік llms.txt файлы 17 КБ және әр өнімге арналған жеке llms.txt файлына сілтеме береді. - Anthropic:
platform.claude.com/llms-full.txt, шамамен 53 МБ. Оған 102 КБ көлемді llms.txt соңында сілтеме береді. - OpenAI:
developers.openai.com/llms-full.txt, шамамен 9,7 МБ, файлда бір файлдық Markdown экспорты деп сипатталған. Оның llms.txt файлы 6 КБ. - Perplexity:
docs.perplexity.ai/llms-full.txt, шамамен 4 МБ, әр беттің URL-ін беретінSource:жолымен. Оның llms.txt файлы 46 КБ.
Төртеуі де әзірлеушілер мен бағдарламалау агенттері оқитын API және өнім құжаттамасы. 2026 жылғы қарашадағы ең танымал 1000 доменді зерттеуімізде біз llms-full.txt-ті санаған жоқпыз; олардың 132-сі llms.txt жариялаған, ал оның 117-сі llmstxt.org форматын ұстанған.
ЖИ краулерлері llms.txt немесе llms-full.txt оқи ма?
Біз тапқан ешбір құжаттамаға сәйкес оқымайды. OpenAI, Anthropic және Perplexity краулер беттері өз боттары мен robots.txt токендерін сипаттайды, бірақ олардың ешқайсысы бұл краулерлер басқа сайттардағы llms.txt немесе llms-full.txt файлын оқиды деп айтпайды. Google AI Overviews немесе AI Mode-та шығу үшін жаңа машина оқитын файлдар, ЖИ-ге арналған мәтіндік файлдар немесе белгілеу жасаудың қажеті жоқ дейді.
Бұл файлдарды өз құжаттамасы үшін жариялау сіздікін оқумен бірдей емес. llmstxt.org файлдар ең көп бағдарламалық құжаттамада, бағдарламалау агенттері оларға ілесетін жерде қолданылатынын айтады. Chrome-дағы Lighthouse llms.txt аудитін қамтиды, бірақ ол тек /llms.txt алу кезіндегі сервер қатесін белгілейді; файлдың жоқтығы қолданылмайды деп саналады, ал аудит llms-full.txt туралы айтпайды.
Өз сайтыңыз үшін дәлел керек болса, сервер журналдарынан /llms-full.txt сұрауларын іздеп, user agent-терге қараңыз.
llms-full.txt қаншалықты үлкен бола алады?
Ешқандай шек құжатталмаған, өйткені файлды ешбір спецификация анықтамайды. Практикалық шек — оқырман. llmstxt.org контекст терезелері бұрынғыдан үлкен болса да, сайттардың көбін толығымен сыйғызуға әлі тым шағын екенін ескертеді. Бірнеше мегабайттық файлды бір жолда оқу мүмкін емес, сондықтан агент оның ішінен іздеуі немесе бөліктеп оқуы керек, ал мұны llms.txt индексі мен .md беттер онсыз да мүмкін етеді.
Бәрібір жарияласаңыз:
- Үлкен құжаттаманы бір орасан файл етпей, Cloudflare әр өнімге арналған llms.txt файлдарымен істегендей, өнім немесе бөлім бойынша бөліңіз.
- Файлдан құралған жауап бәрібір дұрыс бетке сілтей алуы үшін әр беттің үстіне дереккөз URL-ін қойыңыз.
- Тек ашық мазмұнды қосыңыз. Файлды толығымен көшіру оңай, ал оған robots.txt ережелері, соның ішінде оқыту краулерлерін бұғаттау, кез келген басқа URL сияқты қолданылады.
- Оны әр жариялау кезінде қайта жасаңыз. Ескірген толық көшірме мүлде болмағанынан жаман, өйткені ол ескі фактілерді бір ыңғайлы жерде қайталайды.
llms-full.txt-ті қалай жасап, тексеремін?
Жарамды llms.txt пен беттеріңіздің Markdown нұсқаларынан бастаңыз; содан кейін llms-full.txt құрастырудың бір қадамы болады. Бұл скрипт llms.txt файлыңызды оқып, әр сілтеме берілген .md бетті алады және оларды әрқайсысына дереккөз жолын қосып біріктіреді:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") Содан кейін нәтижені тексеріңіз. Файл HTML беті емес, text/plain немесе text/markdown ретінде 200 күйін қайтаруы керек, ал беттер саны llms.txt-тегі сілтемелерге сәйкес келуі керек. Тегін AISeeWhy llms.txt генераторы индексті жазуға көмектеседі, ал тегін llms.txt валидаторы оны llmstxt.org форматымен тексереді: тақырып, сипаттама, бөлімдер және сілтемелер, әр мәселеге жол нөмірімен. llms-full.txt тексеретін форматы жоқ, сондықтан жоғарыдағы тексерулер пайдалы.
llms-full.txt басымдық болуы керек пе?
Сайттардың көбі үшін жоқ. Екі файл да оқырман беттеріңізге жете алғаннан кейін ғана көмектеседі. Тегін AISeeWhy тексеруі бетті браузермен қатар 16 ЖИ және іздеу краулері ретінде алып, оларды robots.txt, файрвол немесе JavaScript тоқтата ма, соны көрсетеді, ал бұл ЖИ-дегі көрінімге екі мәтіндік файлдың кез келгенінен көбірек әсер етеді.
Бұл мәселені түзету жолдары
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- llms.txt тексерушісі мен валидаторы
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Жиі қойылатын сұрақтар
llms.txt ұсынысы llms-full.txt-ті талап ете ме?
Жоқ. Ұсыныс llms.txt пен беттердің Markdown нұсқаларын анықтайды. llms-full.txt — кейбір құжаттама сайттары ұстанатын келісім.
llm.txt пен llms.txt айырмашылығы неде?
Ұсыныстағы файл аты — s әрпі бар llms.txt. /llm.txt мекенжайындағы файл ұсынысқа сай емес, ал llms.txt іздейтін құралдар оны таппайды.
llms-full.txt қайда орналасуы керек?
Ешбір спецификация айтпайды. Жоғарыдағы мысалдар оны құжаттама сайтының түбірінде llms.txt-тің қасына қояды және оқырмандар табуы үшін llms.txt-тен оған сілтеме береді.
llms-full.txt Google AI Overviews-қа көмектесе ме?
Google AI Overviews немесе AI Mode-та шығу үшін жаңа машина оқитын файлдар немесе ЖИ-ге арналған мәтіндік файлдар қажет емес дейді. Беттер индекстелген және үзіндімен көрсетілуге жарамды болуы керек.
llms-full.txt-ті llms.txt тексерушісімен тексеруге бола ма?
Тек ішінара. llms.txt тексерушісі толық мазмұнды файл ұстанбайтын индекс форматын тексереді. llms-full.txt үшін күй кодын, мазмұн түрін, өлшемін және оның ағымдағы беттеріңізге сәйкестігін тексеріңіз.
Дереккөздер
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: ЖИ краулерлерінің қолжетімділігі туралы есеп, 2026-11