llms.txt म्हणजे काय, आणि ते जोडणे फायदेशीर आहे का?
llms.txt ही /llms.txt वर ठेवायची प्रस्तावित Markdown फाइल आहे, जी AI टूलना तुमच्या साइटचा छोटा सारांश आणि तिच्या सर्वात उपयोगी पेजेसच्या लिंकची यादी देते. हा समुदायाचा प्रस्ताव आहे, मानक नाही, आणि मोठे AI सर्च क्रॉलर ती वापरत असल्याचे सांगत नाहीत. ती जोडणे स्वस्त आहे, पण ती क्रॉल करता येणाऱ्या HTML ची जागा घेत नाही.
llms.txt कडे बरेच लक्ष जाते, आणि अनेकदा तिला AI ची robots.txt म्हणून सादर केले जाते. ती वेगळी गोष्ट आहे: robots.txt क्रॉलर काय मिळवू शकतात ते सांगते, तर llms.txt हे वाचनाचे मार्गदर्शक आहे जे AI टूलना वाचण्यासारख्या मजकुराकडे नेते. हा प्रस्ताव काय सांगतो, त्याच्या वापराबद्दल काय माहिती आहे, आणि ती कशी लिहावी ते इथे आहे.
या पेजवर
llms.txt कुठून आली?
Jeremy Howard यांनी सप्टेंबर 2024 मध्ये /llms.txt फाइल सुचवली, आणि हा प्रस्ताव llmstxt.org वर सांभाळला जातो. भाषा मॉडेल आणि एजंटना inference च्या वेळी वेबसाइट वापरण्यास मदत करणारी एक फाइल प्रमाणित करणे हा त्याचा उद्देश आहे, उदाहरणार्थ कोडिंग असिस्टंटला एखाद्या लायब्ररीचे दस्तऐवज लागतात तेव्हा, ट्रेनिंगसाठी नव्हे.
ही कल्पना एका खऱ्या समस्येला उत्तर देते. वेब पेजेसमध्ये नेव्हिगेशन, स्क्रिप्ट, बॅनर आणि लेआउट असतात. मुख्य पेजेसच्या स्वच्छ आवृत्त्यांच्या लिंक असलेली छोटी, निवडक Markdown फाइल मर्यादित context window मध्ये मॉडेलसाठी हाताळायला सोपी असते.
llms.txt फाइलमध्ये काय असते?
फाइल ठरलेल्या क्रमातील Markdown असते. फक्त पहिला घटक अनिवार्य आहे:
- साइट किंवा प्रोजेक्टचे नाव असलेले H1 (अनिवार्य).
- साइट काय आहे याचा छोटा सारांश असलेला blockquote.
- अधिक तपशील असलेले, शीर्षकांशिवायचे ऐच्छिक परिच्छेद किंवा याद्या.
- H2 विभाग, प्रत्येकात
[name](url)स्वरूपातील Markdown लिंकची यादी, ऐच्छिकपणे त्यानंतर कोलन आणि टीप. Optionalनावाचा ऐच्छिक विभाग, दुय्यम लिंकसाठी, ज्या कमी context लागत असताना टूल वगळू शकते.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) प्रस्ताव असेही सुचवतो की पेजेसच्या Markdown आवृत्त्या त्याच URL वर .md जोडून द्याव्यात, उदाहरणार्थ page.html.md, जेणेकरून टूलना स्वच्छ मजकूर मिळवता येईल.
आज प्रत्यक्षात llms.txt कोण वाचते?
इथे सावध राहणे फायद्याचे आहे. llmstxt.org साइट सांगते की या फायलींचा सर्वाधिक वापर सॉफ्टवेअर दस्तऐवजासाठी होतो, जिथे कोडिंग एजंट त्यांचा वापर करतात. आम्ही तपासलेल्या क्रॉलर दस्तऐवजात OpenAI, Anthropic, Google आणि Perplexity त्यांच्या सर्च क्रॉलरनी वापरलेल्या संकेतांमध्ये llms.txt चा उल्लेख करत नाहीत.
Google त्याच्या स्वतःच्या Search फीचरबद्दल आणखी पुढे जाते. AI Overviews आणि AI Mode वरील त्याचे मार्गदर्शन सांगते की त्यांच्यात दिसण्यासाठी नव्या machine-readable फायली, AI टेक्स्ट फायली किंवा मार्कअप तयार करण्याची गरज नाही. Google Search साठी llms.txt ची कोणतीही जाहीर भूमिका नाही.
म्हणून प्रामाणिक उत्तर असे: काही AI टूल, बहुतेक कोडिंग असिस्टंट आणि एखाद्या साइटकडे निर्देशित केलेले एजंट, ती वाचू शकतात. AI सर्च तुमच्या पेजचा संदर्भ देईल का हे ठरवणारे क्रॉलर तुमच्या HTML वरून काम करतात.
तुमची फाइल कोणी वाचते का हे तुम्ही स्वतः पाहू शकता. तुमच्या सर्व्हर किंवा CDN लॉगमध्ये /llms.txt च्या विनंत्या शोधा आणि युजर एजंट पाहा. काही आठवड्यांत एकही विनंती दिसत नसल्यास, तुमच्या साइटसाठी तिचे मूल्य किती आहे हे कोणत्याही सर्वसाधारण दाव्यापेक्षा त्यावरून जास्त कळते.
तरीही मी ती जोडावी का?
बहुतेक साइटसाठी ही कमी खर्चाची, कमी खात्रीची भर आहे. तिला काही मिनिटे लागतात, तिने तुमच्या सर्च दृश्यमानतेला धक्का बसू शकत नाही आणि ती शोधणाऱ्या एजंटना मदत होऊ शकते. दस्तऐवज, डेव्हलपर टूल आणि भरपूर संदर्भ साहित्य असलेल्या उत्पादनांसाठी ती सर्वात उपयोगी आहे.
ती ॲक्सेसच्या समस्या दुरुस्त करू शकत नाही. फायरवॉल AI क्रॉलरना ब्लॉक करत असल्यास, तुमची robots.txt त्यांना नाकारत असल्यास किंवा तुमचा मजकूर JavaScript चालल्यानंतरच दिसत असल्यास, llms.txt ने काहीही बदलत नाही. आधी त्या दुरुस्त करा.
चांगली llms.txt कशी लिहावी?
- ती
https://yourdomain.com/llms.txtवर ठेवा आणि HTML पेज म्हणून नव्हे, तर स्टेटस 200 सह साध्या मजकुरात द्या. - सारांश असा लिहा जसा तुम्ही नव्या सहकाऱ्याला दोन वाक्यांत साइट समजावून सांगाल: ती काय आहे, कोणासाठी आहे.
- खऱ्या प्रश्नांची उत्तरे देणारी पेजेस सूचीबद्ध करा: उत्पादन, किंमत, दस्तऐवज, धोरणे. टॅग पेजेस आणि आर्काइव्ह वगळा.
- पूर्ण (absolute) URL वापरा आणि यादी उपयोगी राहील इतकी छोटी ठेवा; बहुतेक साइटसाठी काही डझन लिंक पुरेशा आहेत.
- ती अद्ययावत ठेवा. काढून टाकलेल्या पेजेसच्या लिंक असलेली फाइल नसण्यापेक्षा वाईट.
- परवानग्या सांगण्यासाठी ती वापरू नका. ॲक्सेसचे नियम robots.txt मध्ये असतात.
AISeeWhy llms.txt कडे कसे पाहते?
AISeeWhy तुमच्या साइटवर llms.txt आहे का आणि ऑडिट केलेले पेज तिच्यात सूचीबद्ध आहे का ते तपासते. आज AI क्रॉलर ती क्वचितच वाचत असल्यामुळे, फाइल नसणे हा P3 निष्कर्ष आहे, सर्वात कमी प्राधान्याचा, आणि अहवालात तुमच्या पेज शीर्षक, वर्णन आणि sitemap वरून तयार केलेला मसुदा असतो, जो तुम्ही संपादित करून प्रकाशित करू शकता.
या समस्येवरील उपाय
- एजंटची एक डिस्कव्हरी फाइल वाचता येत नाही
- एजंटसाठीची Markdown आवृत्ती तुटलेली आहे
- Vary: Accept नसलेले Markdown उत्तर
- AI एजंटसाठी Markdown आवृत्ती नाही
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- llms.txt तपासणी आणि व्हॅलिडेटर
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
llms.txt हे अधिकृत मानक आहे का?
नाही. हा llmstxt.org वर प्रकाशित झालेला समुदायाचा प्रस्ताव आहे. ते IETF किंवा W3C मानक नाही, आणि कोणतीही AI कंपनी ते वाचण्यास बांधील नाही.
llms.txt AI ट्रेनिंग ब्लॉक करते का?
नाही. ती लिंकची यादी आहे, परवानग्यांचा संच नाही. ट्रेनिंगमधून बाहेर पडण्यासाठी robots.txt मधील GPTBot, ClaudeBot किंवा Google-Extended सारखे ट्रेनिंग टोकन वापरा.
Google AI Overviews मध्ये दिसण्यासाठी llms.txt लागते का?
नाही. Google सांगते की AI Overviews किंवा AI Mode मध्ये दिसण्यासाठी AI टेक्स्ट फायली किंवा विशेष मार्कअपची गरज नाही. पेज इंडेक्स झालेले आणि snippet दाखवण्यास पात्र असले पाहिजे.
llms.txt सबफोल्डरमध्ये ठेवता येते का?
प्रस्तावाची सध्याची आवृत्ती /docs/llms.txt सारख्या सबपाथवरील फाइलला परवानगी देते, जी त्या पाथखालील पेजेस कव्हर करते. बहुतेक साइटना रूटवर एकच फाइल पुरेशी आहे.
स्रोत
- llmstxt.org: /llms.txt फाइल
- Google Search Central: AI फीचर आणि तुमची वेबसाइट
- OpenAI: OpenAI क्रॉलरचे विहंगावलोकन