llms-full.txt म्हणजे काय, आणि ते llms.txt शेजारी प्रकाशित करावे का?
llms-full.txt ही साइटच्या दस्तऐवजांचा पूर्ण मजकूर, सहसा Markdown मध्ये, असलेली एकच टेक्स्ट फाइल आहे, जी छोट्या /llms.txt index शेजारी प्रकाशित केली जाते. ती llmstxt.org वरील llms.txt प्रस्तावाचा भाग नाही, तर दस्तऐवज साइटनी स्वीकारलेली प्रथा आहे. एजंट मोठ्या प्रमाणात लोड करतात असे डेव्हलपर दस्तऐवज तुम्ही चालवत असाल तर ती प्रकाशित करा; बहुतेक व्यवसाय साइटसाठी चांगले llms.txt आणि स्वच्छ पेजेस पुरेसे आहेत.
llms.txt म्हणजे काय यावरील आमचा लेख index फाइलबद्दल सांगतो: तिचे स्वरूप, ती कुठून आली आणि ती कोण वाचते. हा लेख तिच्या मोठ्या भावंडाबद्दल आहे. तुम्ही एखाद्या दस्तऐवज साइटवर llms-full.txt पाहिली असेल, किंवा एखाद्या तपासणी टूलने तुमच्याकडे ती आहे का असे विचारले असेल, तर ही फाइल काय आहे, प्रस्ताव काय सांगतो आणि काय सांगत नाही, आणि ते कष्ट घेण्याजोगे आहे का हे इथे आहे.
या पेजवर
- llms-full.txt हा llms.txt specification चा भाग आहे का?
- llms-full.txt हे llms.txt आणि .md पेजेसपेक्षा कसे वेगळे आहे?
- llms-full.txt कोण प्रकाशित करते?
- AI क्रॉलर llms.txt किंवा llms-full.txt वाचतात का?
- llms-full.txt किती मोठी असू शकते?
- llms-full.txt कशी तयार करावी आणि तपासावी?
- llms-full.txt ला प्राधान्य द्यावे का?
llms-full.txt हा llms.txt specification चा भाग आहे का?
नाही. llmstxt.org वरील प्रस्ताव, आता आवृत्ती 2 मध्ये (10 ऑगस्ट 2026 रोजी बदललेला), फक्त llms.txt नावाच्या फाइलची व्याख्या करतो, साइटच्या root वर किंवा कोणत्याही पाथवर, जिथे फाइल तिच्या पाथखालील पेजेस कव्हर करते. तो स्वतंत्र पेजेसच्या Markdown आवृत्त्याही सुचवतो, पेजच्या URL ला .md जोडून (page.html.md) किंवा extension बदलून (page.md), आणि फाइल नाव नसलेल्या URL साठी index.html.md किंवा index.md.
सर्व मजकूर असलेली एकच फाइल specification मध्ये कुठेही नाही. आवृत्ती 1 ने llms_txt2ctx हे टूल वर्णन केले होते, जे llms.txt चा विस्तार करून एक context फाइल तयार करत असे. आवृत्ती 2 ने ते टूल प्रस्तावातून काढले आणि त्याऐवजी अपेक्षित वापर सांगितला: एजंट llms.txt वाचतात किंवा त्यात शोधतात, मग त्यांना लागणाऱ्या लिंक follow करतात. प्रस्तावाचे स्वतःचे उदाहरण असलेले FastHTML दस्तऐवज अजूनही llms-ctx-full.txt नावाची विस्तारित फाइल देतात.
म्हणजे llms-full.txt ही नामकरणाची प्रथा आहे. "सर्व पेजेस, एकामागून एक" याच्या पलीकडे कोणतेही मान्य स्वरूप नाही.
llms-full.txt हे llms.txt आणि .md पेजेसपेक्षा कसे वेगळे आहे?
प्रस्तावाची आवृत्ती 2 एजंटना पेजची Markdown आवृत्ती आणि ते कव्हर करणारे llms.txt शोधण्याचा मार्ग जोडते, HTTP header मध्ये किंवा पेजच्या HTML मध्ये standard link relations वापरून:
llms.txtहा index आहे: शीर्षक, सारांश आणि लिंकच्या याद्या. प्रस्ताव सांगतो की तो मॉडेलच्या context मध्ये बसेल इतका लहान राहायला हवा..mdपेजेस म्हणजे स्वतंत्र पेजेसच्या स्वच्छ प्रती. त्या प्रस्तावाचा भाग आहेत, आणि एजंट त्याला लागणाऱ्याच मिळवतो.llms-full.txtम्हणजे प्रत्येक पेज एका फाइलमध्ये जोडलेले. एका request मध्ये एजंटला सर्व काही मिळते, आकाराच्या किंमतीवर.
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt साठी तशी कोणतीही link relation नाही. ती प्रकाशित करणाऱ्या साइट सहसा त्यांच्या llms.txt मधून तिला लिंक देतात.
llms-full.txt कोण प्रकाशित करते?
मुख्यतः डेव्हलपर दस्तऐवज साइट. आम्ही 17 नोव्हेंबर 2026 रोजी तपासले तेव्हा या फाइल लाइव्ह होत्या:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, सुमारे 71 MB. त्याचे root llms.txt 17 KB आहे आणि प्रत्येक उत्पादनासाठी स्वतंत्र llms.txt ला लिंक देते. - Anthropic:
platform.claude.com/llms-full.txt, सुमारे 53 MB. 102 KB चे llms.txt शेवटी त्याला लिंक देते. - OpenAI:
developers.openai.com/llms-full.txt, सुमारे 9.7 MB, फाइलमध्ये एकाच फाइलमधील Markdown export असे वर्णन केलेले. त्याचे llms.txt 6 KB आहे. - Perplexity:
docs.perplexity.ai/llms-full.txt, सुमारे 4 MB, प्रत्येक पेजचा URL देणाऱ्याSource:ओळीसह. त्याचे llms.txt 46 KB आहे.
चारही API आणि उत्पादन दस्तऐवज आहेत, जे डेव्हलपर आणि कोडिंग एजंट वाचतात. सर्वात लोकप्रिय 1,000 डोमेनच्या आमच्या नोव्हेंबर 2026 च्या अभ्यासात आम्ही llms-full.txt मोजले नाही; त्यापैकी 132 नी llms.txt प्रकाशित केले होते, आणि त्यातील 117 llmstxt.org स्वरूप पाळत होते.
AI क्रॉलर llms.txt किंवा llms-full.txt वाचतात का?
आम्हाला सापडलेल्या कोणत्याही दस्तऐवजानुसार नाही. OpenAI, Anthropic आणि Perplexity ची क्रॉलर पेजेस त्यांचे बॉट आणि robots.txt टोकन वर्णन करतात, आणि त्यापैकी कोणतेही ते क्रॉलर इतर साइटवरील llms.txt किंवा llms-full.txt वाचतात असे सांगत नाही. Google सांगते की AI Overviews किंवा AI Mode मध्ये दिसण्यासाठी नवीन machine-readable फाइल, AI टेक्स्ट फाइल किंवा मार्कअप तयार करण्याची गरज नाही.
स्वतःच्या दस्तऐवजांसाठी या फाइल प्रकाशित करणे आणि तुमच्या फाइल वाचणे या वेगळ्या गोष्टी आहेत. llmstxt.org सांगते की या फाइल सर्वाधिक सॉफ्टवेअर दस्तऐवजांसाठी वापरल्या जातात, जिथे कोडिंग एजंट त्या follow करतात. Chrome च्या Lighthouse मध्ये llms.txt ऑडिट आहे, पण ते फक्त /llms.txt मिळवताना सर्व्हर error दाखवते; गहाळ फाइल लागू नाही म्हणून मोजली जाते, आणि ऑडिट llms-full.txt चा उल्लेख करत नाही.
तुमच्या साइटसाठी पुरावा हवा असेल तर तुमच्या सर्व्हर logs मध्ये /llms-full.txt साठीच्या requests शोधा आणि युजर एजंट पाहा.
llms-full.txt किती मोठी असू शकते?
कोणतीही मर्यादा दस्तऐवजीकृत नाही, कारण कोणतेही specification फाइलची व्याख्या करत नाही. व्यावहारिक मर्यादा म्हणजे वाचक. llmstxt.org नमूद करते की context windows पूर्वीपेक्षा मोठ्या असल्या तरी बहुतेक वेबसाइट संपूर्ण बसतील इतक्या अजूनही मोठ्या नाहीत. अनेक मेगाबाइटची फाइल एकाच वेळी वाचता येत नाही, त्यामुळे एजंटला त्यात शोधावे लागते किंवा भागांत वाचावी लागते, आणि हे llms.txt index आणि .md पेजेस आधीच शक्य करतात.
तरीही तुम्ही ती प्रकाशित करत असाल तर:
- एक प्रचंड फाइल देण्याऐवजी मोठे दस्तऐवज उत्पादन किंवा विभागानुसार विभागा, जसे Cloudflare प्रत्येक उत्पादनासाठीच्या llms.txt फाइलसह करते.
- प्रत्येक पेजच्या वर स्रोत URL ठेवा, म्हणजे फाइलमधून तयार झालेले उत्तर तरीही योग्य पेजकडे निर्देश करू शकेल.
- फक्त सार्वजनिक मजकूर समाविष्ट करा. फाइल संपूर्ण कॉपी करणे सोपे आहे, आणि इतर कोणत्याही URL प्रमाणे robots.txt नियम, ट्रेनिंग क्रॉलर ब्लॉकसह, तिलाही लागू होतात.
- प्रत्येक deploy वर ती पुन्हा तयार करा. जुनी पूर्ण प्रत नसण्यापेक्षा वाईट आहे, कारण ती कालबाह्य तथ्ये एकाच सोयीस्कर ठिकाणी पुन्हा सांगते.
llms-full.txt कशी तयार करावी आणि तपासावी?
वैध llms.txt आणि तुमच्या पेजेसच्या Markdown आवृत्त्यांपासून सुरुवात करा; मग llms-full.txt ही build ची एक पायरी आहे. ही स्क्रिप्ट तुमचे llms.txt वाचते, लिंक केलेले प्रत्येक .md पेज मिळवते आणि प्रत्येकासाठी स्रोत ओळीसह ती जोडते:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") मग निकाल तपासा. फाइलने HTML पेज नव्हे तर text/plain किंवा text/markdown म्हणून स्टेटस 200 द्यायला हवे, आणि तिच्यातील पेजेसची संख्या तुमच्या llms.txt मधील लिंकशी जुळायला हवी. AISeeWhy चा मोफत llms.txt जनरेटर index लिहायला मदत करतो, आणि मोफत llms.txt व्हॅलिडेटर तो llmstxt.org स्वरूपाशी तपासतो: शीर्षक, सारांश, विभाग आणि लिंक, प्रत्येक समस्येसाठी ओळ क्रमांकासह. llms-full.txt साठी तपासायला कोणतेही स्वरूप नाही, त्यामुळे वरच्या तपासण्याच उपयोगी आहेत.
llms-full.txt ला प्राधान्य द्यावे का?
बहुतेक साइटसाठी नाही. वाचक तुमच्या पेजेसपर्यंत पोहोचू शकल्यानंतरच दोन्ही फाइल मदत करतात. AISeeWhy ची मोफत तपासणी ब्राउझरच्या बाजूने पेज 16 AI आणि सर्च क्रॉलर म्हणून मिळवते आणि robots.txt, फायरवॉल किंवा JavaScript त्यांना थांबवतात का ते दाखवते, जे AI मधील दृश्यमानतेसाठी या दोन्ही टेक्स्ट फाइलपेक्षा अधिक निर्णायक आहे.
या समस्येवरील उपाय
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- llms.txt तपासणी आणि व्हॅलिडेटर
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
वारंवार विचारले जाणारे प्रश्न
llms.txt प्रस्तावानुसार llms-full.txt आवश्यक आहे का?
नाही. प्रस्ताव llms.txt आणि पेजेसच्या Markdown आवृत्त्यांची व्याख्या करतो. llms-full.txt ही काही दस्तऐवज साइट पाळत असलेली प्रथा आहे.
llm.txt आणि llms.txt मध्ये काय फरक आहे?
प्रस्तावातील फाइल नाव llms.txt आहे, s सह. /llm.txt येथील फाइल प्रस्ताव पाळत नाही, आणि llms.txt शोधणाऱ्या टूल्सना ती सापडणार नाही.
llms-full.txt कुठे ठेवावी?
कोणतेही specification सांगत नाही. वरील उदाहरणे ती दस्तऐवज साइटच्या root वर llms.txt शेजारी ठेवतात, आणि वाचकांना सापडावी म्हणून llms.txt मधून तिला लिंक देतात.
llms-full.txt मुळे Google AI Overviews मध्ये मदत होते का?
Google सांगते की AI Overviews किंवा AI Mode मध्ये दिसण्यासाठी नवीन machine-readable फाइल किंवा AI टेक्स्ट फाइलची गरज नाही. पेजेस इंडेक्स झालेली आणि snippet दाखवण्यास पात्र असायला हवीत.
llms.txt तपासणी टूलने llms-full.txt तपासता येते का?
फक्त अंशतः. llms.txt तपासणी टूल index चे स्वरूप तपासते, जे पूर्ण मजकूर असलेली फाइल पाळत नाही. llms-full.txt साठी स्टेटस कोड, content type, आकार आणि ती तुमच्या सध्याच्या पेजेसशी जुळते का ते तपासा.
स्रोत
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI क्रॉलर ॲक्सेस अहवाल, 2026-11