Kas ir llms-full.txt, un vai to vajadzētu publicēt blakus llms.txt?
llms-full.txt ir viens teksta fails ar visu vietnes dokumentācijas tekstu, parasti Markdown formātā, ko publicē blakus īsajam indeksam /llms.txt. Tas nav daļa no llms.txt priekšlikuma vietnē llmstxt.org, bet gan konvencija, ko pārņēmušas dokumentācijas vietnes. Publicējiet to, ja jums ir izstrādātāju dokumentācija, ko aģenti ielādē vairumā; lielākajai daļai uzņēmumu vietņu pietiek ar labu llms.txt un tīrām lapām.
Mūsu raksts par to, kas ir llms.txt, apraksta pašu indeksa failu: tā formātu, izcelsmi un to, kas to lasa. Šis ir par tā lielāko brāli. Ja esat redzējis llms-full.txt kādā dokumentācijas vietnē vai pārbaudes rīks jautāja, vai jums tāds ir, šeit ir aprakstīts, kas ir šis fails, ko priekšlikums saka un ko nesaka un vai tas ir pūļu vērts.
Šajā lapā
Vai llms-full.txt ir daļa no llms.txt specifikācijas?
Nē. Priekšlikums vietnē llmstxt.org, tagad 2. versijā (mainīts 2026. gada 10. augustā), definē tikai failus ar nosaukumu llms.txt vietnes saknē vai jebkurā ceļā, kur fails aptver lapas zem sava ceļa. Tas arī ierosina atsevišķu lapu Markdown versijas lapas URL ar pievienotu .md (page.html.md) vai aizstātu paplašinājumu (page.md), kā arī index.html.md vai index.md URL bez faila nosaukuma.
Viens fails ar visu saturu specifikācijā nav minēts nekur. 1. versijā bija aprakstīts rīks llms_txt2ctx, kas izvērsa llms.txt vienā konteksta failā. 2. versija šos rīkus no priekšlikuma izņēma un tā vietā norāda paredzēto lietojumu: aģenti lasa llms.txt vai meklē tajā, pēc tam seko vajadzīgajām saitēm. FastHTML dokumentācija, paša priekšlikuma piemērs, joprojām pasniedz izvērstu failu ar nosaukumu llms-ctx-full.txt.
Tātad llms-full.txt ir nosaukšanas konvencija. Nav saskaņota formāta, izņemot "visas lapas cita pēc citas".
Kā llms-full.txt atšķiras no llms.txt un .md lapām?
Priekšlikuma 2. versija pievieno veidu, kā aģenti var atrast lapas Markdown versiju un llms.txt, kas to aptver, izmantojot standarta saišu attiecības HTTP galvenē vai lapas HTML:
llms.txtir indekss: virsraksts, kopsavilkums un saišu saraksti. Priekšlikumā teikts, ka tam jāpaliek pietiekami mazam, lai ietilptu modeļa kontekstā..mdlapas ir atsevišķu lapu tīras kopijas. Tās ir priekšlikuma daļa, un aģents ielādē tikai vajadzīgās.llms-full.txtir visas lapas, apvienotas vienā failā. Viens pieprasījums dod aģentam visu, bet uz lieluma rēķina.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> Līdzvērtīgas saišu attiecības llms-full.txt nav. Vietnes, kas to publicē, parasti uz to saista no sava llms.txt.
Kas publicē llms-full.txt?
Pārsvarā izstrādātāju dokumentācijas vietnes. Kad pārbaudījām 2026. gada 17. novembrī, šie faili bija pieejami:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, aptuveni 71 MB. Tās saknes llms.txt ir 17 KB un saista uz atsevišķu llms.txt katram produktam. - Anthropic:
platform.claude.com/llms-full.txt, aptuveni 53 MB. 102 KB lielais llms.txt uz to saista beigās. - OpenAI:
developers.openai.com/llms-full.txt, aptuveni 9,7 MB, failā aprakstīts kā viena faila Markdown eksports. Tās llms.txt ir 6 KB. - Perplexity:
docs.perplexity.ai/llms-full.txt, aptuveni 4 MB, ar rinduSource:, kas norāda katras lapas URL. Tās llms.txt ir 46 KB.
Visi četri ir API un produktu dokumentācija, ko lasa izstrādātāji un programmēšanas aģenti. Savā 2026. gada novembra pētījumā par 1000 populārākajiem domēniem llms-full.txt neskaitījām; 132 no tiem publicēja llms.txt, un 117 no tiem atbilda llmstxt.org formātam.
Vai MI rāpuļprogrammas lasa llms.txt vai llms-full.txt?
Ne saskaņā ar dokumentāciju, ko spējām atrast. OpenAI, Anthropic un Perplexity rāpuļprogrammu lapas apraksta to robotus un robots.txt marķierus, un nevienā nav teikts, ka šīs rāpuļprogrammas citās vietnēs lasa llms.txt vai llms-full.txt. Google norāda, ka, lai parādītos AI Overviews vai AI Mode, nav jāveido jauni mašīnlasāmi faili, MI teksta faili vai marķējums.
Šo failu publicēšana savai dokumentācijai nav tas pats, kas jūsējo lasīšana. llmstxt.org norāda, ka faili visvairāk tiek izmantoti programmatūras dokumentācijai, kur tiem seko programmēšanas aģenti. Chrome Lighthouse ir llms.txt audits, bet tas atzīmē tikai servera kļūdu, ielādējot /llms.txt; trūkstošs fails tiek uzskatīts par neattiecināmu, un audits llms-full.txt nepiemin.
Ja vēlaties pierādījumus savai vietnei, meklējiet servera žurnālos pieprasījumus uz /llms-full.txt un apskatiet to user-agent.
Cik liels var būt llms-full.txt?
Ierobežojums nav dokumentēts, jo neviena specifikācija šo failu nedefinē. Praktiskais ierobežojums ir lasītājs. llmstxt.org norāda, ka konteksta logi, lai gan lielāki nekā agrāk, joprojām ir par mazu lielākajai daļai vietņu kopumā. Vairāku megabaitu failu nevar nolasīt vienā piegājienā, tāpēc aģentam tajā jāmeklē vai jālasa pa daļām, ko jau ļauj llms.txt indekss un .md lapas.
Ja tomēr to publicējat:
- Sadaliet lielu dokumentāciju pa produktiem vai sadaļām, kā Cloudflare dara ar llms.txt failiem katram produktam, nevis piegādājiet vienu milzīgu failu.
- Virs katras lapas norādiet avota URL, lai no faila veidota atbilde joprojām varētu norādīt uz pareizo lapu.
- Iekļaujiet tikai publisku saturu. Failu ir viegli nokopēt visu uzreiz, un robots.txt kārtulas uz to attiecas tāpat kā uz jebkuru citu URL, ieskaitot apmācības rāpuļprogrammu bloķēšanu.
- Ģenerējiet to no jauna ar katru izvietošanu. Novecojusi pilnā kopija ir sliktāka par neko, jo tā atkārto novecojušus faktus vienā ērtā vietā.
Kā ģenerēt un pārbaudīt llms-full.txt?
Sāciet ar derīgu llms.txt un savu lapu Markdown versijām; tad llms-full.txt ir tikai būvēšanas solis. Šis skripts nolasa jūsu llms.txt, ielādē katru saistīto .md lapu un apvieno tās ar avota rindu katrai:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") Pēc tam pārbaudiet rezultātu. Failam jāatgriež statuss 200 kā text/plain vai text/markdown, nevis HTML lapa, un tā lapu skaitam jāatbilst saitēm jūsu llms.txt. Bezmaksas AISeeWhy llms.txt ģenerators palīdz uzrakstīt indeksu, un bezmaksas llms.txt validators to pārbauda pret llmstxt.org formātu: virsraksts, kopsavilkums, sadaļas un saites, ar rindas numuriem katrai problēmai. llms-full.txt nav formāta, pret kuru validēt, tāpēc noderīgas ir iepriekš minētās pārbaudes.
Vai llms-full.txt jābūt prioritātei?
Lielākajai daļai vietņu ne. Abi faili palīdz tikai pēc tam, kad lasītājs var piekļūt jūsu lapām. Bezmaksas AISeeWhy pārbaude ielādē lapu kā 16 MI un meklētāju rāpuļprogrammas blakus pārlūkam un parāda, vai robots.txt, ugunsmūris vai JavaScript tās aptur, un tas nosaka redzamību MI vairāk nekā jebkurš no šiem teksta failiem.
Labojumi šai problēmai
- Nav llms.txt
- llms.txt nesākas ar virsrakstu
- Lapa nav norādīta llms.txt
- llms.txt ir pārāk liels: 1200 KB
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- llms.txt pārbaude un validators
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Biežāk uzdotie jautājumi
Vai llms.txt priekšlikums prasa llms-full.txt?
Nē. Priekšlikums definē llms.txt un lapu Markdown versijas. llms-full.txt ir konvencija, ko ievēro dažas dokumentācijas vietnes.
Kāda ir atšķirība starp llm.txt un llms.txt?
Priekšlikumā faila nosaukums ir llms.txt, ar s. Fails adresē /llm.txt neatbilst priekšlikumam, un rīki, kas meklē llms.txt, to neatradīs.
Kur jāatrodas llms-full.txt?
Neviena specifikācija to nenosaka. Iepriekš minētajos piemēros tas atrodas blakus llms.txt dokumentācijas vietnes saknē, un uz to ir saite no llms.txt, lai lasītāji to varētu atrast.
Vai llms-full.txt palīdz Google AI Overviews?
Google norāda, ka, lai parādītos AI Overviews vai AI Mode, nav vajadzīgi jauni mašīnlasāmi faili vai MI teksta faili. Lapām jābūt indeksētām un piemērotām fragmenta rādīšanai.
Vai llms-full.txt var pārbaudīt ar llms.txt pārbaudes rīku?
Tikai daļēji. llms.txt pārbaudes rīks validē indeksa formātu, kam pilnā satura fails neseko. llms-full.txt pārbaudiet statusa kodu, satura tipu, lielumu un to, vai tas atbilst jūsu pašreizējām lapām.
Avoti
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: pārskats par MI rāpuļprogrammu piekļuvi, 2026-11