llms-full.txt क्या है, और क्या आपको इसे llms.txt के साथ प्रकाशित करना चाहिए?
llms-full.txt एक अकेली टेक्स्ट फ़ाइल है जिसमें किसी साइट के दस्तावेज़ का पूरा टेक्स्ट होता है, आमतौर पर Markdown में, और यह छोटे /llms.txt इंडेक्स के साथ प्रकाशित होती है। यह llmstxt.org के llms.txt प्रस्ताव का हिस्सा नहीं, बल्कि एक परंपरा है जिसे डॉक्यूमेंटेशन साइटों ने अपनाया। अगर आप ऐसा डेवलपर डॉक्यूमेंटेशन चलाते हैं जिसे एजेंट एक साथ बड़ी मात्रा में लोड करते हैं, तो इसे प्रकाशित करें; ज़्यादातर बिज़नेस साइटों के लिए अच्छी llms.txt और साफ़ पेज काफ़ी हैं।
llms.txt क्या है, इस पर हमारा लेख इंडेक्स फ़ाइल को ही कवर करता है: उसका फ़ॉर्मैट, वह कहां से आई और उसे कौन पढ़ता है। यह लेख उसकी बड़ी बहन के बारे में है। अगर आपने किसी डॉक्यूमेंटेशन साइट पर llms-full.txt देखी है, या किसी चेकर ने पूछा कि क्या आपके पास यह है, तो यहां बताया गया है कि यह फ़ाइल क्या है, प्रस्ताव क्या कहता है और क्या नहीं, और क्या यह मेहनत के लायक है।
इस पेज पर
- क्या llms-full.txt, llms.txt स्पेसिफ़िकेशन का हिस्सा है?
- llms-full.txt, llms.txt और .md पेजों से कैसे अलग है?
- llms-full.txt कौन प्रकाशित करता है?
- क्या AI क्रॉलर llms.txt या llms-full.txt पढ़ते हैं?
- llms-full.txt कितनी बड़ी हो सकती है?
- llms-full.txt कैसे बनाएं और जांचें?
- क्या llms-full.txt प्राथमिकता होनी चाहिए?
क्या llms-full.txt, llms.txt स्पेसिफ़िकेशन का हिस्सा है?
नहीं। llmstxt.org का प्रस्ताव, जो अब वर्ज़न 2 में है (10 अगस्त 2026 को बदला गया), सिर्फ़ llms.txt नाम की फ़ाइलें परिभाषित करता है, साइट के root पर या किसी भी पाथ पर, जहां एक फ़ाइल अपने पाथ के नीचे के पेज कवर करती है। यह अलग-अलग पेजों के Markdown वर्ज़न भी प्रस्तावित करता है, पेज के URL पर .md जोड़कर (page.html.md) या एक्सटेंशन बदलकर (page.md), और बिना फ़ाइल नाम वाले URL के लिए index.html.md या index.md।
सारा कंटेंट रखने वाली एक अकेली फ़ाइल स्पेसिफ़िकेशन में कहीं नहीं है। वर्ज़न 1 में llms_txt2ctx नाम का एक टूल बताया गया था, जो llms.txt को एक कॉन्टेक्स्ट फ़ाइल में फैलाता था। वर्ज़न 2 ने वह टूलिंग प्रस्ताव से हटा दी और उसकी जगह अपेक्षित इस्तेमाल बताया: एजेंट llms.txt पढ़ते या उसमें सर्च करते हैं, फिर ज़रूरी लिंक फ़ॉलो करते हैं। FastHTML डॉक्यूमेंटेशन, जो प्रस्ताव का अपना उदाहरण है, अब भी llms-ctx-full.txt नाम की फैलाई गई फ़ाइल देता है।
तो llms-full.txt नाम रखने की एक परंपरा है। "सारे पेज, एक के बाद एक" के अलावा इसका कोई तय फ़ॉर्मैट नहीं है।
llms-full.txt, llms.txt और .md पेजों से कैसे अलग है?
प्रस्ताव का वर्ज़न 2 एजेंट के लिए किसी पेज का Markdown वर्ज़न और उसे कवर करने वाली llms.txt ढूंढने का तरीका जोड़ता है, HTTP हेडर में या पेज के HTML में स्टैंडर्ड link relation के ज़रिए:
llms.txtएक इंडेक्स है: शीर्षक, सारांश और लिंक की सूचियां। प्रस्ताव कहता है कि यह इतनी छोटी रहनी चाहिए कि मॉडल के कॉन्टेक्स्ट में आ जाए।.mdपेज अकेले पेजों की साफ़ कॉपी हैं। ये प्रस्ताव का हिस्सा हैं, और एजेंट सिर्फ़ ज़रूरी पेज fetch करता है।llms-full.txtसारे पेजों को एक फ़ाइल में जोड़ती है। एक अनुरोध से एजेंट को सब कुछ मिल जाता है, बड़े साइज़ की क़ीमत पर।
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt के लिए ऐसा कोई link relation नहीं है। जो साइटें इसे प्रकाशित करती हैं, वे आमतौर पर अपनी llms.txt से इसका लिंक देती हैं।
llms-full.txt कौन प्रकाशित करता है?
ज़्यादातर डेवलपर डॉक्यूमेंटेशन साइटें। 17 नवंबर 2026 को हमारी जांच में ये फ़ाइलें लाइव थीं:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, लगभग 71 MB। इसकी root llms.txt 17 KB की है और हर प्रोडक्ट की अलग llms.txt का लिंक देती है। - Anthropic:
platform.claude.com/llms-full.txt, लगभग 53 MB। 102 KB की llms.txt आख़िर में इसका लिंक देती है। - OpenAI:
developers.openai.com/llms-full.txt, लगभग 9.7 MB, जिसे फ़ाइल में एक-फ़ाइल वाला Markdown एक्सपोर्ट बताया गया है। इसकी llms.txt 6 KB की है। - Perplexity:
docs.perplexity.ai/llms-full.txt, लगभग 4 MB, हर पेज का URL देने वालीSource:लाइन के साथ। इसकी llms.txt 46 KB की है।
चारों API और प्रोडक्ट डॉक्यूमेंटेशन हैं, जिन्हें डेवलपर और कोडिंग एजेंट पढ़ते हैं। नवंबर 2026 में 1,000 सबसे लोकप्रिय डोमेन के हमारे अध्ययन में हमने llms-full.txt नहीं गिनी; उनमें से 132 ने llms.txt प्रकाशित की थी, और उनमें से 117 llmstxt.org फ़ॉर्मैट का पालन करती थीं।
क्या AI क्रॉलर llms.txt या llms-full.txt पढ़ते हैं?
हमें मिले किसी भी दस्तावेज़ के अनुसार नहीं। OpenAI, Anthropic और Perplexity के क्रॉलर पेज अपने बॉट और robots.txt टोकन बताते हैं, और उनमें से कोई नहीं कहता कि ये क्रॉलर दूसरी साइटों पर llms.txt या llms-full.txt पढ़ते हैं। Google कहता है कि AI Overviews या AI Mode में दिखने के लिए आपको मशीन के पढ़ने लायक नई फ़ाइलें, AI टेक्स्ट फ़ाइलें या मार्कअप बनाने की ज़रूरत नहीं है।
अपने डॉक्यूमेंटेशन के लिए ये फ़ाइलें प्रकाशित करना आपकी फ़ाइलें पढ़ने जैसा नहीं है। llmstxt.org कहता है कि ये फ़ाइलें सबसे ज़्यादा सॉफ़्टवेयर डॉक्यूमेंटेशन के लिए इस्तेमाल होती हैं, जहां कोडिंग एजेंट इन्हें फ़ॉलो करते हैं। Chrome के Lighthouse में llms.txt ऑडिट है, लेकिन यह सिर्फ़ /llms.txt fetch करते समय सर्वर error को चिह्नित करता है; फ़ाइल न होने को लागू नहीं माना जाता, और ऑडिट llms-full.txt का ज़िक्र नहीं करता।
अगर आप अपनी साइट के लिए सबूत चाहते हैं, तो अपने सर्वर लॉग में /llms-full.txt के अनुरोध खोजें और उनके user agent देखें।
llms-full.txt कितनी बड़ी हो सकती है?
कोई सीमा दर्ज नहीं है, क्योंकि कोई स्पेसिफ़िकेशन इस फ़ाइल को परिभाषित नहीं करता। व्यावहारिक सीमा पढ़ने वाला है। llmstxt.org बताता है कि कॉन्टेक्स्ट विंडो पहले से बड़ी होने पर भी ज़्यादातर वेबसाइटों को पूरा समेटने के लिए अब भी बहुत छोटी हैं। कई मेगाबाइट की फ़ाइल एक बार में नहीं पढ़ी जा सकती, इसलिए एजेंट को उसमें सर्च करना या उसे हिस्सों में पढ़ना पड़ता है, जो llms.txt इंडेक्स और .md पेज पहले से संभव बनाते हैं।
अगर आप फिर भी इसे प्रकाशित करते हैं:
- एक विशाल फ़ाइल भेजने की बजाय बड़े डॉक्यूमेंटेशन को प्रोडक्ट या सेक्शन के हिसाब से बांटें, जैसा Cloudflare हर प्रोडक्ट की llms.txt फ़ाइलों के साथ करता है।
- हर पेज के ऊपर स्रोत URL रखें, ताकि फ़ाइल से बना उत्तर फिर भी सही पेज की ओर इशारा कर सके।
- सिर्फ़ सार्वजनिक कंटेंट शामिल करें। इस फ़ाइल को पूरा कॉपी करना आसान है, और robots.txt नियम इस पर किसी भी दूसरे URL की तरह लागू होते हैं, ट्रेनिंग क्रॉलर के ब्लॉक समेत।
- हर deploy पर इसे दोबारा बनाएं। पुरानी पूरी कॉपी न होने से बदतर है, क्योंकि वह पुराने तथ्यों को एक सुविधाजनक जगह पर दोहराती है।
llms-full.txt कैसे बनाएं और जांचें?
एक मान्य llms.txt और अपने पेजों के Markdown वर्ज़न से शुरू करें; फिर llms-full.txt एक बिल्ड स्टेप है। यह स्क्रिप्ट आपकी llms.txt पढ़ती है, हर लिंक किया .md पेज fetch करती है और हर एक के लिए स्रोत लाइन के साथ उन्हें जोड़ती है:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") फिर नतीजा जांचें। फ़ाइल को HTML पेज नहीं, बल्कि text/plain या text/markdown के रूप में स्टेटस 200 लौटाना चाहिए, और उसके पेजों की संख्या आपकी llms.txt के लिंक से मेल खानी चाहिए। AISeeWhy का मुफ़्त llms.txt जनरेटर इंडेक्स लिखने में मदद करता है, और मुफ़्त llms.txt वैलिडेटर उसे llmstxt.org फ़ॉर्मैट के हिसाब से जांचता है: शीर्षक, सारांश, सेक्शन और लिंक, हर समस्या के लाइन नंबर के साथ। llms-full.txt का कोई फ़ॉर्मैट नहीं है जिसके हिसाब से उसे वैलिडेट किया जाए, इसलिए ऊपर की जांचें ही उपयोगी हैं।
क्या llms-full.txt प्राथमिकता होनी चाहिए?
ज़्यादातर साइटों के लिए नहीं। दोनों फ़ाइलें तभी मदद करती हैं जब पढ़ने वाला आपके पेजों तक पहुंच सके। AISeeWhy की मुफ़्त जांच पेज को ब्राउज़र के साथ-साथ 16 AI और सर्च क्रॉलर के रूप में fetch करती है और दिखाती है कि robots.txt, फ़ायरवॉल या JavaScript उन्हें रोकते हैं या नहीं, जो AI में दृश्यता के लिए इन दोनों टेक्स्ट फ़ाइलों से कहीं ज़्यादा निर्णायक है।
इस समस्या के सुधार
- llms.txt नहीं है
- llms.txt शीर्षक से शुरू नहीं होती
- पेज llms.txt में सूचीबद्ध नहीं है
- llms.txt बहुत बड़ी है: 1200 KB
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- llms.txt चेकर और वैलिडेटर
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
अक्सर पूछे जाने वाले प्रश्न
क्या llms.txt प्रस्ताव में llms-full.txt ज़रूरी है?
नहीं। प्रस्ताव llms.txt और पेजों के Markdown वर्ज़न परिभाषित करता है। llms-full.txt एक परंपरा है जिसे कुछ डॉक्यूमेंटेशन साइटें अपनाती हैं।
llm.txt और llms.txt में क्या अंतर है?
प्रस्ताव में फ़ाइल का नाम llms.txt है, s के साथ। /llm.txt पर रखी फ़ाइल प्रस्ताव का पालन नहीं करती, और llms.txt खोजने वाले टूल उसे नहीं ढूंढ पाएंगे।
llms-full.txt कहां रखनी चाहिए?
कोई स्पेसिफ़िकेशन यह नहीं बताता। ऊपर के उदाहरण इसे डॉक्यूमेंटेशन साइट के root पर llms.txt के बगल में रखते हैं, और llms.txt से इसका लिंक देते हैं ताकि पढ़ने वाले इसे ढूंढ सकें।
क्या llms-full.txt, Google AI Overviews में मदद करती है?
Google कहता है कि AI Overviews या AI Mode में दिखने के लिए आपको मशीन के पढ़ने लायक नई फ़ाइलों या AI टेक्स्ट फ़ाइलों की ज़रूरत नहीं है। पेज इंडेक्स होने चाहिए और स्निपेट दिखाने के योग्य होने चाहिए।
क्या मैं llms.txt चेकर से llms-full.txt जांच सकता हूं?
सिर्फ़ आंशिक रूप से। llms.txt चेकर इंडेक्स का फ़ॉर्मैट वैलिडेट करता है, जिसका पूरे कंटेंट वाली फ़ाइल पालन नहीं करती। llms-full.txt के लिए स्टेटस कोड, content type, साइज़ और यह जांचें कि वह आपके मौजूदा पेजों से मेल खाती है।
स्रोत
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI क्रॉलर एक्सेस रिपोर्ट, 2026-11