llms-full.txt के हो, र के यसलाई llms.txt को छेउमा प्रकाशित गर्नुपर्छ?
llms-full.txt साइटको दस्तावेजको पूरा पाठ, प्रायः Markdown मा, राख्ने एउटै पाठ फाइल हो, जुन छोटो /llms.txt index को छेउमा प्रकाशित हुन्छ। यो llmstxt.org को llms.txt प्रस्तावको भाग होइन, दस्तावेज साइटहरूले अपनाएको चलन हो। एजेन्टले एकैपटक धेरै लोड गर्ने डेभलपर दस्तावेज चलाउनुहुन्छ भने यसलाई प्रकाशित गर्नुहोस्; धेरैजसो व्यावसायिक साइटका लागि राम्रो llms.txt र सफा पेज पर्याप्त हुन्छन्।
llms.txt के हो भन्ने हाम्रो लेखले index फाइल आफैँ समेट्छ: यसको ढाँचा, यो कहाँबाट आयो र कसले पढ्छ। यो लेख यसको ठूलो भाइबारे हो। तपाईंले कुनै दस्तावेज साइटमा llms-full.txt देख्नुभयो, वा कुनै चेकरले तपाईंसँग यो छ कि छैन सोध्यो भने, यो फाइल के हो, प्रस्तावले के भन्छ र के भन्दैन, र यसमा मेहनत गर्नु उचित छ कि छैन भन्ने यहाँ छ।
यस पेजमा
के llms-full.txt llms.txt को specification को भाग हो?
होइन। llmstxt.org को प्रस्ताव, अहिले संस्करण 2 (10 अगस्ट 2026 मा परिमार्जित), ले साइटको root वा जुनसुकै path मा रहने llms.txt नामका फाइल मात्र परिभाषित गर्छ, जहाँ फाइलले आफ्नो path अन्तर्गतका पेज समेट्छ। यसले एक-एक पेजका Markdown संस्करण पनि प्रस्ताव गर्छ, पेजको URL मा .md थपेर (page.html.md) वा extension बदलेर (page.md), र फाइल नाम नभएका URL का लागि index.html.md वा index.md।
सबै सामग्री भएको एउटै फाइल specification मा कतै छैन। संस्करण 1 ले llms.txt लाई एउटै context फाइलमा विस्तार गर्ने llms_txt2ctx भन्ने टुल वर्णन गरेको थियो। संस्करण 2 ले त्यो टुल प्रस्तावबाट हटायो र यसको सट्टा अपेक्षित प्रयोग बतायो: एजेन्टले llms.txt पढ्छन् वा त्यसमा खोज्छन्, अनि चाहिएका लिंक पछ्याउँछन्। प्रस्तावकै उदाहरण, FastHTML को दस्तावेजले अझै llms-ctx-full.txt नामको विस्तारित फाइल दिन्छ।
त्यसैले llms-full.txt नामकरणको चलन हो। “सबै पेज, एकपछि अर्को” भन्दा बाहेक कुनै सहमत ढाँचा छैन।
llms-full.txt llms.txt र .md पेजभन्दा कसरी फरक छ?
प्रस्तावको संस्करण 2 ले एजेन्टलाई पेजको Markdown संस्करण र त्यसलाई समेट्ने llms.txt भेट्ने तरिका थप्छ, HTTP header वा पेजको HTML मा मानक link relation प्रयोग गरेर:
llms.txtindex हो: शीर्षक, सारांश र लिंकका सूची। प्रस्ताव भन्छ यो मोडेलको context मा अट्ने गरी सानो रहनुपर्छ।.mdपेजहरू एक-एक पेजका सफा प्रति हुन्। यी प्रस्तावको भाग हुन्, र एजेन्टले चाहिएका मात्र ल्याउँछ।llms-full.txtभनेको हरेक पेजलाई एउटै फाइलमा जोडिएको रूप हो। एउटै अनुरोधले एजेन्टलाई सबै कुरा दिन्छ, तर आकार ठूलो हुन्छ।
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt का लागि यस्तो कुनै link relation छैन। यो प्रकाशित गर्ने साइटले प्रायः आफ्नो llms.txt बाट यसको लिंक दिन्छन्।
llms-full.txt कसले प्रकाशित गर्छ?
मुख्यतः डेभलपर दस्तावेज साइटहरूले। हामीले 17 नोभेम्बर 2026 मा जाँच्दा यी फाइल लाइभ थिए:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, करिब 71 MB। यसको root llms.txt 17 KB को छ र हरेक उत्पादनका लागि छुट्टै llms.txt मा लिंक दिन्छ। - Anthropic:
platform.claude.com/llms-full.txt, करिब 53 MB। 102 KB को llms.txt ले अन्त्यमा यसको लिंक दिन्छ। - OpenAI:
developers.openai.com/llms-full.txt, करिब 9.7 MB, फाइलमै एउटै फाइलको Markdown export भनेर वर्णन गरिएको। यसको llms.txt 6 KB को छ। - Perplexity:
docs.perplexity.ai/llms-full.txt, करिब 4 MB, हरेक पेजको URL दिनेSource:लाइनसहित। यसको llms.txt 46 KB को छ।
चारै API र उत्पादनका दस्तावेज हुन्, जसलाई डेभलपर र कोडिङ एजेन्टले पढ्छन्। सबैभन्दा लोकप्रिय 1,000 डोमेनको हाम्रो नोभेम्बर 2026 को अध्ययनमा हामीले llms-full.txt गनेनौं; तीमध्ये 132 ले llms.txt प्रकाशित गरेका थिए, र तीमध्ये 117 ले llmstxt.org को ढाँचा पछ्याएका थिए।
के AI क्रलरले llms.txt वा llms-full.txt पढ्छन्?
हामीले भेटेको कुनै दस्तावेजअनुसार पढ्दैनन्। OpenAI, Anthropic र Perplexity का क्रलर पेजले आफ्ना बट र robots.txt टोकन वर्णन गर्छन्, र कुनैले पनि ती क्रलरले अरू साइटका llms.txt वा llms-full.txt पढ्छन् भन्दैनन्। Google भन्छ AI Overviews वा AI Mode मा देखिन नयाँ मेसिनले पढ्ने फाइल, AI पाठ फाइल वा मार्कअप बनाउन आवश्यक छैन।
आफ्नै दस्तावेजका लागि यी फाइल प्रकाशित गर्नु र तपाईंका फाइल पढ्नु एउटै कुरा होइन। llmstxt.org भन्छ यी फाइल सबैभन्दा धेरै सफ्टवेयर दस्तावेजमा प्रयोग हुन्छन्, जहाँ कोडिङ एजेन्टले तिनलाई पछ्याउँछन्। Chrome को Lighthouse मा llms.txt अडिट छ, तर यसले /llms.txt ल्याउँदा सर्भर error आएमा मात्र चिन्ह लगाउँछ; फाइल नहुनुलाई लागू नहुने मानिन्छ, र अडिटले llms-full.txt को उल्लेख गर्दैन।
आफ्नै साइटका लागि प्रमाण चाहनुहुन्छ भने सर्भर लगमा /llms-full.txt का अनुरोध खोज्नुहोस् र user agent हेर्नुहोस्।
llms-full.txt कति ठूलो हुन सक्छ?
कुनै सीमा दस्तावेज गरिएको छैन, किनकि कुनै specification ले यो फाइल परिभाषित गर्दैन। व्यावहारिक सीमा पढ्ने पक्ष हो। llmstxt.org भन्छ context window पहिलेभन्दा ठूला भए पनि धेरैजसो वेबसाइटलाई पूरै अटाउन अझै साना छन्। धेरै मेगाबाइटको फाइल एकैपटक पढ्न सकिँदैन, त्यसैले एजेन्टले त्यसमा खोज्नुपर्छ वा टुक्रामा पढ्नुपर्छ, जुन llms.txt index र .md पेजले पहिले नै सम्भव बनाउँछन्।
तैपनि प्रकाशित गर्नुहुन्छ भने:
- एउटै विशाल फाइल दिनुको सट्टा, Cloudflare ले हरेक उत्पादनका llms.txt फाइलसँग गरेझैं, ठूलो दस्तावेजलाई उत्पादन वा खण्डअनुसार बाँड्नुहोस्।
- हरेक पेजमाथि स्रोत URL राख्नुहोस्, ताकि फाइलबाट बनेको उत्तरले पनि सही पेज देखाउन सकोस्।
- सार्वजनिक सामग्री मात्र समावेश गर्नुहोस्। फाइल पूरै प्रतिलिपि गर्न सजिलो छ, र ट्रेनिङ क्रलरका ब्लकसहित robots.txt का नियम यसमा अरू URL जस्तै लागू हुन्छन्।
- हरेक deploy मा यसलाई फेरि बनाउनुहोस्। पुरानो पूरा प्रति नहुनुभन्दा नराम्रो हो, किनकि यसले पुराना तथ्य एउटै सुविधाजनक ठाउँमा दोहोर्याउँछ।
llms-full.txt कसरी बनाउने र जाँच्ने?
मान्य llms.txt र आफ्ना पेजका Markdown संस्करणबाट सुरु गर्नुहोस्; त्यसपछि llms-full.txt बिल्डको एउटा चरण हो। यो स्क्रिप्टले तपाईंको llms.txt पढ्छ, लिंक गरिएका हरेक .md पेज ल्याउँछ र हरेकका लागि स्रोत लाइनसहित तिनलाई जोड्छ:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") त्यसपछि नतिजा जाँच्नुहोस्। फाइलले HTML पेज होइन, text/plain वा text/markdown का रूपमा स्थिति 200 फर्काउनुपर्छ, र यसमा पेजको संख्या तपाईंको llms.txt का लिंकसँग मेल खानुपर्छ। AISeeWhy को निःशुल्क llms.txt जेनेरेटरले index लेख्न मद्दत गर्छ, र निःशुल्क llms.txt भ्यालिडेटरले यसलाई llmstxt.org को ढाँचासँग जाँच्छ: शीर्षक, सारांश, खण्ड र लिंक, हरेक समस्याको लाइन नम्बरसहित। llms-full.txt को जाँच गर्ने कुनै ढाँचा छैन, त्यसैले माथिका जाँच नै उपयोगी छन्।
के llms-full.txt प्राथमिकता हुनुपर्छ?
धेरैजसो साइटका लागि होइन। पढ्ने पक्षले तपाईंका पेजसम्म पुग्न सकेपछि मात्र दुवै फाइलले मद्दत गर्छन्। AISeeWhy को निःशुल्क जाँचले पेजलाई ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा ल्याउँछ र robots.txt, फायरवाल वा JavaScript ले तिनलाई रोक्छन् कि रोक्दैनन् देखाउँछ, जसले AI मा दृश्यताबारे यी कुनै पनि पाठ फाइलभन्दा बढी निर्धारण गर्छ।
यो समस्याका समाधान
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- llms.txt चेकर र भ्यालिडेटर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
बारम्बार सोधिने प्रश्नहरू
के llms.txt प्रस्तावले llms-full.txt अनिवार्य गर्छ?
गर्दैन। प्रस्तावले llms.txt र पेजका Markdown संस्करण परिभाषित गर्छ। llms-full.txt केही दस्तावेज साइटले पछ्याउने चलन हो।
llm.txt र llms.txt बीच के फरक छ?
प्रस्तावको फाइल नाम s सहितको llms.txt हो। /llm.txt मा रहेको फाइलले प्रस्ताव पछ्याउँदैन, र llms.txt खोज्ने टुलले त्यसलाई भेट्दैनन्।
llms-full.txt कहाँ राख्ने?
कुनै specification ले भन्दैन। माथिका उदाहरणले यसलाई दस्तावेज साइटको root मा llms.txt को छेउमा राख्छन्, र पाठकले भेटून् भनेर llms.txt बाट यसको लिंक दिन्छन्।
के llms-full.txt ले Google AI Overviews मा मद्दत गर्छ?
Google भन्छ AI Overviews वा AI Mode मा देखिन नयाँ मेसिनले पढ्ने फाइल वा AI पाठ फाइल चाहिँदैन। पेज इन्डेक्स भएको र snippet देखाउन योग्य हुनुपर्छ।
के llms.txt चेकरले llms-full.txt जाँच्न सकिन्छ?
आंशिक रूपमा मात्र। llms.txt चेकरले index को ढाँचा प्रमाणित गर्छ, जुन पूरा सामग्रीको फाइलले पछ्याउँदैन। llms-full.txt का लागि status code, content type, आकार र यो तपाईंका हालका पेजसँग मेल खान्छ कि खाँदैन जाँच्नुहोस्।
स्रोतहरू
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11