llms.txt क्या है, और क्या इसे जोड़ना ठीक रहेगा?
llms.txt /llms.txt पर रखी जाने वाली प्रस्तावित Markdown फ़ाइल है, जो AI टूल को आपकी साइट का छोटा सारांश और सबसे काम के पेजों के लिंक की सूची देती है। यह समुदाय का प्रस्ताव है, मानक नहीं, और प्रमुख AI सर्च क्रॉलर यह नहीं कहते कि वे इसे इस्तेमाल करते हैं। इसे जोड़ना सस्ता है, पर यह क्रॉल होने लायक HTML की जगह नहीं लेता।
llms.txt पर काफ़ी चर्चा होती है, और अक्सर इसे AI का robots.txt बताया जाता है। यह कुछ अलग है: robots.txt बताता है कि क्रॉलर क्या फ़ेच कर सकते हैं, जबकि llms.txt एक पढ़ने की गाइड है जो AI टूल को पढ़ने लायक कंटेंट की ओर ले जाती है। यहां देखें कि प्रस्ताव क्या कहता है, इसके इस्तेमाल के बारे में क्या पता है, और एक फ़ाइल कैसे लिखें।
इस पेज पर
llms.txt कहां से आया?
Jeremy Howard ने सितंबर 2024 में /llms.txt फ़ाइल का प्रस्ताव रखा, और यह प्रस्ताव llmstxt.org पर संभाला जाता है। इसका लक्ष्य एक ऐसी फ़ाइल को मानकीकृत करना है जो भाषा मॉडल और एजेंट को इन्फ़रेंस के समय किसी वेबसाइट का इस्तेमाल करने में मदद करे, जैसे जब कोडिंग असिस्टेंट को किसी लाइब्रेरी के डॉक्यूमेंटेशन की ज़रूरत हो, ट्रेनिंग के लिए नहीं।
यह विचार एक असली समस्या का जवाब है। वेब पेज में नेविगेशन, स्क्रिप्ट, बैनर और लेआउट होता है। मुख्य पेजों के साफ़ संस्करणों के लिंक वाली छोटी, चुनी हुई Markdown फ़ाइल के साथ सीमित कॉन्टेक्स्ट विंडो में काम करना मॉडल के लिए आसान होता है।
llms.txt फ़ाइल में क्या होता है?
फ़ाइल Markdown में है और उसका क्रम तय है। केवल पहला तत्व ज़रूरी है:
- साइट या प्रोजेक्ट के नाम वाला एक H1 (ज़रूरी)।
- साइट क्या है, इसके छोटे सारांश वाला blockquote।
- बिना हेडिंग के, अधिक ब्योरे वाले वैकल्पिक पैराग्राफ़ या सूचियां।
- H2 सेक्शन, हर एक में
[name](url)रूप में Markdown लिंक की सूची, जिसके बाद वैकल्पिक रूप से कोलन और एक टिप्पणी हो सकती है। - गौण लिंक के लिए
Optionalनाम का वैकल्पिक सेक्शन, जिसे टूल तब छोड़ सकता है जब उसे कम कॉन्टेक्स्ट चाहिए।
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)प्रस्ताव यह भी सुझाता है कि पेजों के Markdown संस्करण उसी URL पर .md जोड़कर दिए जाएं, जैसे page.html.md, ताकि टूल साफ़ टेक्स्ट फ़ेच कर सकें।
आज llms.txt को असल में कौन पढ़ता है?
यहां सावधान रहना फ़ायदेमंद है। llmstxt.org साइट कहती है कि ये फ़ाइलें सबसे ज़्यादा सॉफ़्टवेयर डॉक्यूमेंटेशन के लिए इस्तेमाल होती हैं, जहां कोडिंग एजेंट इन्हें फ़ॉलो करते हैं। OpenAI, Anthropic, Google और Perplexity ने हमारे देखे क्रॉलर दस्तावेज़ों में llms.txt को उन संकेतों में नहीं गिनाया है जिन्हें उनके सर्च क्रॉलर इस्तेमाल करते हैं।
Google अपनी Search सुविधाओं के लिए और आगे जाती है। AI Overviews और AI Mode पर उसका मार्गदर्शन कहता है कि उनमें दिखने के लिए आपको नई मशीन-पठनीय फ़ाइलें, AI टेक्स्ट फ़ाइलें या मार्कअप बनाने की ज़रूरत नहीं है। Google Search के लिए llms.txt की कोई घोषित भूमिका नहीं है।
तो ईमानदार जवाब यह है: कुछ AI टूल, ज़्यादातर कोडिंग असिस्टेंट और वे एजेंट जिन्हें किसी साइट की ओर इशारा किया जाए, इसे पढ़ सकते हैं। जो क्रॉलर तय करते हैं कि AI सर्च आपके पेज का हवाला देगा या नहीं, वे आपके HTML से काम करते हैं।
आप खुद देख सकते हैं कि आपकी फ़ाइल कोई पढ़ता है या नहीं। अपने सर्वर या CDN के लॉग में /llms.txt के अनुरोध खोजें और user agent देखें। अगर कुछ हफ़्तों में कोई अनुरोध न दिखे, तो आपकी साइट के लिए इसकी उपयोगिता के बारे में यह किसी भी आम दावे से ज़्यादा बताता है।
क्या मुझे फिर भी एक जोड़ना चाहिए?
ज़्यादातर साइटों के लिए यह कम लागत और कम निश्चितता वाला जोड़ है। इसमें कुछ मिनट लगते हैं, इससे आपकी सर्च दृश्यता को नुकसान नहीं होता और यह उन एजेंट के काम आ सकता है जो इसे ढूंढते हैं। यह डॉक्यूमेंटेशन, डेवलपर टूल और बहुत सारी रेफ़रेंस सामग्री वाले प्रोडक्ट के लिए सबसे उपयोगी है।
जो यह नहीं कर सकता, वह है पहुंच की समस्याएं ठीक करना। अगर फ़ायरवॉल AI क्रॉलर को ब्लॉक करता है, आपका robots.txt उन्हें disallow करता है, या आपका कंटेंट JavaScript चलने के बाद ही दिखता है, तो llms.txt कुछ नहीं बदलता। पहले इन्हें ठीक करें।
अच्छा llms.txt कैसे लिखूं?
- इसे
https://yourdomain.com/llms.txtपर रखें और status 200 के साथ सादे टेक्स्ट के रूप में परोसें, HTML पेज के रूप में नहीं। - सारांश वैसे लिखें जैसे आप नए सहकर्मी को दो वाक्यों में साइट समझाएंगे: यह क्या है, किसके लिए है।
- वे पेज सूचीबद्ध करें जो असली सवालों के जवाब देते हैं: प्रोडक्ट, कीमत, डॉक्यूमेंटेशन, नीतियां। टैग पेज और आर्काइव छोड़ दें।
- पूरे URL इस्तेमाल करें और सूची को इतना छोटा रखें कि उपयोगी बनी रहे; ज़्यादातर साइटों के लिए कुछ दर्जन लिंक काफ़ी हैं।
- इसे अद्यतन रखें। हटाए गए पेजों से जुड़ी फ़ाइल न होने से भी बुरी है।
- अनुमतियां बताने के लिए इसका इस्तेमाल न करें। पहुंच के नियम robots.txt में होते हैं।
AISeeWhy llms.txt को कैसे देखता है?
AISeeWhy जांचता है कि आपकी साइट में llms.txt है या नहीं और जांचा जा रहा पेज उसमें सूचीबद्ध है या नहीं। चूंकि AI क्रॉलर आज इसे कम ही पढ़ते हैं, इसलिए फ़ाइल का न होना P3 निष्कर्ष है, यानी सबसे कम प्राथमिकता, और रिपोर्ट में आपके पेज के शीर्षक, विवरण और साइटमैप से बना एक ड्राफ़्ट शामिल होता है जिसे आप बदलकर प्रकाशित कर सकते हैं।
अक्सर पूछे जाने वाले प्रश्न
क्या llms.txt कोई आधिकारिक मानक है?
नहीं। यह llmstxt.org पर प्रकाशित समुदाय का प्रस्ताव है। यह IETF या W3C का मानक नहीं है, और कोई भी AI वेंडर इसे पढ़ने के लिए बाध्य नहीं है।
क्या llms.txt AI ट्रेनिंग को ब्लॉक करता है?
नहीं। यह लिंक की सूची है, अनुमतियों का समूह नहीं। ट्रेनिंग से बाहर रहने के लिए robots.txt के ट्रेनिंग टोकन इस्तेमाल करें, जैसे GPTBot, ClaudeBot या Google-Extended।
क्या Google AI Overviews में दिखने के लिए मुझे llms.txt चाहिए?
नहीं। Google कहती है कि AI Overviews या AI Mode में दिखने के लिए AI टेक्स्ट फ़ाइलों या विशेष मार्कअप की ज़रूरत नहीं है। पेज का इंडेक्स होना और स्निपेट दिखाने के योग्य होना ज़रूरी है।
क्या llms.txt किसी सबफ़ोल्डर में रह सकता है?
प्रस्ताव का मौजूदा संस्करण सबपाथ पर फ़ाइल की अनुमति देता है, जैसे /docs/llms.txt, जो उस पाथ के नीचे के पेज कवर करती है। ज़्यादातर साइटों को रूट पर केवल एक फ़ाइल चाहिए।
स्रोत
- llmstxt.org: /llms.txt फ़ाइल
- Google Search Central: AI सुविधाएं और आपकी वेबसाइट
- OpenAI: OpenAI क्रॉलरों का अवलोकन