llms-full.txt म्हणजे काय, आणि ते llms.txt शेजारी प्रकाशित करावे का?

प्रकाशित

छोटे उत्तर

llms-full.txt ही साइटच्या दस्तऐवजांचा पूर्ण मजकूर, सहसा Markdown मध्ये, असलेली एकच टेक्स्ट फाइल आहे, जी छोट्या /llms.txt index शेजारी प्रकाशित केली जाते. ती llmstxt.org वरील llms.txt प्रस्तावाचा भाग नाही, तर दस्तऐवज साइटनी स्वीकारलेली प्रथा आहे. एजंट मोठ्या प्रमाणात लोड करतात असे डेव्हलपर दस्तऐवज तुम्ही चालवत असाल तर ती प्रकाशित करा; बहुतेक व्यवसाय साइटसाठी चांगले llms.txt आणि स्वच्छ पेजेस पुरेसे आहेत.

llms.txt म्हणजे काय यावरील आमचा लेख index फाइलबद्दल सांगतो: तिचे स्वरूप, ती कुठून आली आणि ती कोण वाचते. हा लेख तिच्या मोठ्या भावंडाबद्दल आहे. तुम्ही एखाद्या दस्तऐवज साइटवर llms-full.txt पाहिली असेल, किंवा एखाद्या तपासणी टूलने तुमच्याकडे ती आहे का असे विचारले असेल, तर ही फाइल काय आहे, प्रस्ताव काय सांगतो आणि काय सांगत नाही, आणि ते कष्ट घेण्याजोगे आहे का हे इथे आहे.

या पेजवर
  1. llms-full.txt हा llms.txt specification चा भाग आहे का?
  2. llms-full.txt हे llms.txt आणि .md पेजेसपेक्षा कसे वेगळे आहे?
  3. llms-full.txt कोण प्रकाशित करते?
  4. AI क्रॉलर llms.txt किंवा llms-full.txt वाचतात का?
  5. llms-full.txt किती मोठी असू शकते?
  6. llms-full.txt कशी तयार करावी आणि तपासावी?
  7. llms-full.txt ला प्राधान्य द्यावे का?

llms-full.txt हा llms.txt specification चा भाग आहे का?

नाही. llmstxt.org वरील प्रस्ताव, आता आवृत्ती 2 मध्ये (10 ऑगस्ट 2026 रोजी बदललेला), फक्त llms.txt नावाच्या फाइलची व्याख्या करतो, साइटच्या root वर किंवा कोणत्याही पाथवर, जिथे फाइल तिच्या पाथखालील पेजेस कव्हर करते. तो स्वतंत्र पेजेसच्या Markdown आवृत्त्याही सुचवतो, पेजच्या URL ला .md जोडून (page.html.md) किंवा extension बदलून (page.md), आणि फाइल नाव नसलेल्या URL साठी index.html.md किंवा index.md.

सर्व मजकूर असलेली एकच फाइल specification मध्ये कुठेही नाही. आवृत्ती 1 ने llms_txt2ctx हे टूल वर्णन केले होते, जे llms.txt चा विस्तार करून एक context फाइल तयार करत असे. आवृत्ती 2 ने ते टूल प्रस्तावातून काढले आणि त्याऐवजी अपेक्षित वापर सांगितला: एजंट llms.txt वाचतात किंवा त्यात शोधतात, मग त्यांना लागणाऱ्या लिंक follow करतात. प्रस्तावाचे स्वतःचे उदाहरण असलेले FastHTML दस्तऐवज अजूनही llms-ctx-full.txt नावाची विस्तारित फाइल देतात.

म्हणजे llms-full.txt ही नामकरणाची प्रथा आहे. "सर्व पेजेस, एकामागून एक" याच्या पलीकडे कोणतेही मान्य स्वरूप नाही.

llms-full.txt हे llms.txt आणि .md पेजेसपेक्षा कसे वेगळे आहे?

प्रस्तावाची आवृत्ती 2 एजंटना पेजची Markdown आवृत्ती आणि ते कव्हर करणारे llms.txt शोधण्याचा मार्ग जोडते, HTTP header मध्ये किंवा पेजच्या HTML मध्ये standard link relations वापरून:

# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"

# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt">

llms-full.txt साठी तशी कोणतीही link relation नाही. ती प्रकाशित करणाऱ्या साइट सहसा त्यांच्या llms.txt मधून तिला लिंक देतात.

llms-full.txt कोण प्रकाशित करते?

मुख्यतः डेव्हलपर दस्तऐवज साइट. आम्ही 17 नोव्हेंबर 2026 रोजी तपासले तेव्हा या फाइल लाइव्ह होत्या:

चारही API आणि उत्पादन दस्तऐवज आहेत, जे डेव्हलपर आणि कोडिंग एजंट वाचतात. सर्वात लोकप्रिय 1,000 डोमेनच्या आमच्या नोव्हेंबर 2026 च्या अभ्यासात आम्ही llms-full.txt मोजले नाही; त्यापैकी 132 नी llms.txt प्रकाशित केले होते, आणि त्यातील 117 llmstxt.org स्वरूप पाळत होते.

AI क्रॉलर llms.txt किंवा llms-full.txt वाचतात का?

आम्हाला सापडलेल्या कोणत्याही दस्तऐवजानुसार नाही. OpenAI, Anthropic आणि Perplexity ची क्रॉलर पेजेस त्यांचे बॉट आणि robots.txt टोकन वर्णन करतात, आणि त्यापैकी कोणतेही ते क्रॉलर इतर साइटवरील llms.txt किंवा llms-full.txt वाचतात असे सांगत नाही. Google सांगते की AI Overviews किंवा AI Mode मध्ये दिसण्यासाठी नवीन machine-readable फाइल, AI टेक्स्ट फाइल किंवा मार्कअप तयार करण्याची गरज नाही.

स्वतःच्या दस्तऐवजांसाठी या फाइल प्रकाशित करणे आणि तुमच्या फाइल वाचणे या वेगळ्या गोष्टी आहेत. llmstxt.org सांगते की या फाइल सर्वाधिक सॉफ्टवेअर दस्तऐवजांसाठी वापरल्या जातात, जिथे कोडिंग एजंट त्या follow करतात. Chrome च्या Lighthouse मध्ये llms.txt ऑडिट आहे, पण ते फक्त /llms.txt मिळवताना सर्व्हर error दाखवते; गहाळ फाइल लागू नाही म्हणून मोजली जाते, आणि ऑडिट llms-full.txt चा उल्लेख करत नाही.

तुमच्या साइटसाठी पुरावा हवा असेल तर तुमच्या सर्व्हर logs मध्ये /llms-full.txt साठीच्या requests शोधा आणि युजर एजंट पाहा.

llms-full.txt किती मोठी असू शकते?

कोणतीही मर्यादा दस्तऐवजीकृत नाही, कारण कोणतेही specification फाइलची व्याख्या करत नाही. व्यावहारिक मर्यादा म्हणजे वाचक. llmstxt.org नमूद करते की context windows पूर्वीपेक्षा मोठ्या असल्या तरी बहुतेक वेबसाइट संपूर्ण बसतील इतक्या अजूनही मोठ्या नाहीत. अनेक मेगाबाइटची फाइल एकाच वेळी वाचता येत नाही, त्यामुळे एजंटला त्यात शोधावे लागते किंवा भागांत वाचावी लागते, आणि हे llms.txt index आणि .md पेजेस आधीच शक्य करतात.

तरीही तुम्ही ती प्रकाशित करत असाल तर:

llms-full.txt कशी तयार करावी आणि तपासावी?

वैध llms.txt आणि तुमच्या पेजेसच्या Markdown आवृत्त्यांपासून सुरुवात करा; मग llms-full.txt ही build ची एक पायरी आहे. ही स्क्रिप्ट तुमचे llms.txt वाचते, लिंक केलेले प्रत्येक .md पेज मिळवते आणि प्रत्येकासाठी स्रोत ओळीसह ती जोडते:

import re
import urllib.request

SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}


def get(url):
    req = urllib.request.Request(url, headers=HEADERS)
    with urllib.request.urlopen(req, timeout=20) as resp:
        return resp.read().decode("utf-8", "replace")


index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)

parts = [index.strip()]
for title, url in links:
    if not url.endswith(".md"):
        continue  # include only pages that have a clean Markdown version
    parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")

with open("llms-full.txt", "w", encoding="utf-8") as f:
    f.write("\n\n---\n\n".join(parts) + "\n")

print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters")

मग निकाल तपासा. फाइलने HTML पेज नव्हे तर text/plain किंवा text/markdown म्हणून स्टेटस 200 द्यायला हवे, आणि तिच्यातील पेजेसची संख्या तुमच्या llms.txt मधील लिंकशी जुळायला हवी. AISeeWhy चा मोफत llms.txt जनरेटर index लिहायला मदत करतो, आणि मोफत llms.txt व्हॅलिडेटर तो llmstxt.org स्वरूपाशी तपासतो: शीर्षक, सारांश, विभाग आणि लिंक, प्रत्येक समस्येसाठी ओळ क्रमांकासह. llms-full.txt साठी तपासायला कोणतेही स्वरूप नाही, त्यामुळे वरच्या तपासण्याच उपयोगी आहेत.

llms-full.txt ला प्राधान्य द्यावे का?

बहुतेक साइटसाठी नाही. वाचक तुमच्या पेजेसपर्यंत पोहोचू शकल्यानंतरच दोन्ही फाइल मदत करतात. AISeeWhy ची मोफत तपासणी ब्राउझरच्या बाजूने पेज 16 AI आणि सर्च क्रॉलर म्हणून मिळवते आणि robots.txt, फायरवॉल किंवा JavaScript त्यांना थांबवतात का ते दाखवते, जे AI मधील दृश्यमानतेसाठी या दोन्ही टेक्स्ट फाइलपेक्षा अधिक निर्णायक आहे.

या समस्येवरील उपाय

मोफत टूल्स

पुढील पायऱ्या

वारंवार विचारले जाणारे प्रश्न

llms.txt प्रस्तावानुसार llms-full.txt आवश्यक आहे का?

नाही. प्रस्ताव llms.txt आणि पेजेसच्या Markdown आवृत्त्यांची व्याख्या करतो. llms-full.txt ही काही दस्तऐवज साइट पाळत असलेली प्रथा आहे.

llm.txt आणि llms.txt मध्ये काय फरक आहे?

प्रस्तावातील फाइल नाव llms.txt आहे, s सह. /llm.txt येथील फाइल प्रस्ताव पाळत नाही, आणि llms.txt शोधणाऱ्या टूल्सना ती सापडणार नाही.

llms-full.txt कुठे ठेवावी?

कोणतेही specification सांगत नाही. वरील उदाहरणे ती दस्तऐवज साइटच्या root वर llms.txt शेजारी ठेवतात, आणि वाचकांना सापडावी म्हणून llms.txt मधून तिला लिंक देतात.

llms-full.txt मुळे Google AI Overviews मध्ये मदत होते का?

Google सांगते की AI Overviews किंवा AI Mode मध्ये दिसण्यासाठी नवीन machine-readable फाइल किंवा AI टेक्स्ट फाइलची गरज नाही. पेजेस इंडेक्स झालेली आणि snippet दाखवण्यास पात्र असायला हवीत.

llms.txt तपासणी टूलने llms-full.txt तपासता येते का?

फक्त अंशतः. llms.txt तपासणी टूल index चे स्वरूप तपासते, जे पूर्ण मजकूर असलेली फाइल पाळत नाही. llms-full.txt साठी स्टेटस कोड, content type, आकार आणि ती तुमच्या सध्याच्या पेजेसशी जुळते का ते तपासा.

स्रोत

आणखी लेख