llms.txt के हो, र के यसलाई थप्नु लायक छ?
llms.txt भनेको /llms.txt मा राखिने प्रस्तावित Markdown फाइल हो, जसले AI उपकरणलाई तपाईंको साइटको छोटो सारांश र सबैभन्दा उपयोगी पेजका लिंकको सूची दिन्छ। यो समुदायको प्रस्ताव हो, मानक होइन, र प्रमुख AI सर्च क्रलरले यसलाई प्रयोग गर्ने बताउँदैनन्। यसलाई थप्न खर्च कम लाग्छ, तर यसले क्रल गर्न मिल्ने HTML को ठाउँ लिँदैन।
llms.txt ले धेरै ध्यान पाउँछ, प्रायः AI को robots.txt भनेर प्रस्तुत गरिन्छ। यो फरक कुरा हो: robots.txt ले क्रलरले के ल्याउन पाउँछन् बताउँछ, जबकि llms.txt पढ्ने गाइड हो जसले AI उपकरणलाई पढ्न लायक सामग्रीतर्फ औँल्याउँछ। यहाँ प्रस्तावले के भन्छ, यसको प्रयोगबारे के थाहा छ, र यसलाई कसरी लेख्ने भन्ने छ।
यस पेजमा
llms.txt कहाँबाट आयो?
Jeremy Howard ले सेप्टेम्बर 2024 मा /llms.txt फाइल प्रस्ताव गरे, र प्रस्ताव llmstxt.org मा राखिएको छ। यसको उद्देश्य भाषा मोडेल र एजेन्टलाई ट्रेनिङका लागि होइन, inference को समयमा वेबसाइट प्रयोग गर्न मद्दत गर्ने एउटा फाइल मानकीकरण गर्नु हो, जस्तै कोडिङ सहायकलाई कुनै लाइब्रेरीको कागजात चाहिँदा।
यो विचार वास्तविक समस्याको जवाफ हो। वेब पेजमा नेभिगेसन, स्क्रिप्ट, ब्यानर र लेआउट हुन्छन्। मुख्य पेजका सफा संस्करणका लिंकसहितको छोटो, छानिएको Markdown फाइलसँग सीमित context window भित्र मोडेललाई काम गर्न सजिलो हुन्छ।
llms.txt फाइलमा के-के हुन्छ?
फाइल निश्चित क्रम भएको Markdown हो। पहिलो तत्व मात्र अनिवार्य छ:
- साइट वा परियोजनाको नामसहितको H1 (अनिवार्य)।
- साइट के हो भन्ने छोटो सारांशसहितको blockquote।
- शीर्षक बिना थप विवरण भएका ऐच्छिक अनुच्छेद वा सूची।
- H2 खण्डहरू, प्रत्येकमा
[name](url)ढाँचाका Markdown लिंकको सूची, चाहे भने कोलन र टिप्पणीसहित। Optionalनाम भएको ऐच्छिक खण्ड, गौण लिंकका लागि जसलाई कम context चाहिँदा उपकरणले छोड्न सक्छ।
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) प्रस्तावले पेजका Markdown संस्करण उही URL मा .md थपेर दिन पनि सुझाव दिन्छ, जस्तै page.html.md, ताकि उपकरणले सफा पाठ ल्याउन सकून्।
आज वास्तवमा llms.txt कसले पढ्छ?
यहाँ होसियार हुनु फाइदाजनक छ। llmstxt.org साइट भन्छ यी फाइल सबैभन्दा बढी सफ्टवेयर कागजातमा प्रयोग हुन्छन्, जहाँ कोडिङ एजेन्टले तिनलाई पछ्याउँछन्। हामीले हेरेका क्रलर कागजातमा OpenAI, Anthropic, Google र Perplexity ले आफ्ना सर्च क्रलरले प्रयोग गर्ने सङ्केतमा llms.txt राखेका छैनन्।
Google आफ्ना Search सुविधाका लागि अझ अगाडि जान्छ। AI Overviews र AI Mode बारेको यसको निर्देशन भन्छ, तिनमा देखिन नयाँ machine-readable फाइल, AI पाठ फाइल वा मार्कअप बनाउनु पर्दैन। Google Search का लागि llms.txt को कुनै घोषित भूमिका छैन।
त्यसैले इमानदार उत्तर यो हो: केही AI उपकरण, धेरैजसो कुनै साइटतर्फ औँल्याइएका कोडिङ सहायक र एजेन्टले, यसलाई पढ्न सक्छन्। AI सर्चले तपाईंको पेज उद्धृत गर्ने कि नगर्ने निर्णय गर्ने क्रलरले तपाईंको HTML बाट काम गर्छन्।
तपाईंको फाइल कसैले पढ्छ कि पढ्दैन आफैँ हेर्न सक्नुहुन्छ। आफ्नो सर्भर वा CDN लगमा /llms.txt का अनुरोध खोज्नुहोस् र user agent हेर्नुहोस्। केही हप्तासम्म कुनै अनुरोध देखिँदैन भने त्यसले कुनै सामान्य दाबीभन्दा तपाईंको साइटका लागि यसको मूल्यबारे बढी बताउँछ।
के जसरी पनि एउटा थप्नुपर्छ?
धेरैजसो साइटका लागि यो कम खर्च, कम निश्चितताको थप हो। यसमा केही मिनेट लाग्छ, यसले सर्चमा तपाईंको उपस्थितिलाई हानि गर्न सक्दैन र यसलाई खोज्ने एजेन्टलाई मद्दत गर्न सक्छ। यो कागजात, डेभलपर उपकरण र धेरै सन्दर्भ सामग्री भएका उत्पादनका लागि सबैभन्दा उपयोगी हुन्छ।
यसले पहुँचका समस्या सच्याउन सक्दैन। फायरवालले AI क्रलर ब्लक गर्छ, तपाईंको robots.txt ले तिनलाई निषेध गर्छ वा तपाईंको सामग्री JavaScript चलेपछि मात्र देखिन्छ भने llms.txt ले केही बदल्दैन। पहिले ती सच्याउनुहोस्।
राम्रो llms.txt कसरी लेख्ने?
- यसलाई
https://yourdomain.com/llms.txtमा राख्नुहोस् र HTML पेज होइन, स्थिति 200 सहित सादा पाठका रूपमा दिनुहोस्। - सारांश त्यसरी लेख्नुहोस् जसरी तपाईं नयाँ सहकर्मीलाई साइट दुई वाक्यमा बुझाउनुहुन्छ: यो के हो, कसका लागि हो।
- वास्तविक प्रश्नको उत्तर दिने पेज सूचीबद्ध गर्नुहोस्: उत्पादन, मूल्य, कागजात, नीति। ट्याग पेज र अभिलेख छोड्नुहोस्।
- पूर्ण URL प्रयोग गर्नुहोस् र सूची उपयोगी रहन पुग्ने गरी छोटो राख्नुहोस्; धेरैजसो साइटका लागि केही दर्जन लिंक प्रशस्त हुन्छन्।
- यसलाई अद्यावधिक राख्नुहोस्। हटाइएका पेजमा लिंक गर्ने फाइल नहुनुभन्दा खराब हो।
- अनुमति बताउन यसलाई प्रयोग नगर्नुहोस्। पहुँचका नियम robots.txt मा हुनुपर्छ।
AISeeWhy ले llms.txt लाई कसरी हेर्छ?
AISeeWhy ले तपाईंको साइटमा llms.txt छ कि छैन र अडिट गरिएको पेज त्यसमा सूचीबद्ध छ कि छैन जाँच्छ। आज AI क्रलरले यसलाई विरलै पढ्ने भएकाले फाइल नहुनु P3 निष्कर्ष हो, सबैभन्दा कम प्राथमिकता, र रिपोर्टमा तपाईंको पेज शीर्षक, विवरण र sitemap बाट बनाइएको मस्यौदा हुन्छ जसलाई तपाईं सम्पादन गरेर प्रकाशित गर्न सक्नुहुन्छ।
यो समस्याका समाधान
- एजेन्ट डिस्कभरी फाइल पढ्न सकिँदैन
- एजेन्टका लागि Markdown संस्करण बिग्रिएको छ
- Vary: Accept बिनाको Markdown उत्तर
- AI एजेन्टका लागि Markdown संस्करण छैन
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- llms.txt चेकर र भ्यालिडेटर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के llms.txt आधिकारिक मानक हो?
होइन। यो llmstxt.org मा प्रकाशित समुदायको प्रस्ताव हो। यो IETF वा W3C मानक होइन, र कुनै पनि AI कम्पनी यसलाई पढ्न बाध्य छैन।
के llms.txt ले AI ट्रेनिङ ब्लक गर्छ?
गर्दैन। यो अनुमतिको सेट होइन, लिंकको सूची हो। ट्रेनिङबाट opt-out गर्न robots.txt मा GPTBot, ClaudeBot वा Google-Extended जस्ता ट्रेनिङ टोकन प्रयोग गर्नुहोस्।
Google AI Overviews मा देखिन के मलाई llms.txt चाहिन्छ?
चाहिँदैन। Google भन्छ AI Overviews वा AI Mode मा देखिन AI पाठ फाइल वा विशेष मार्कअप चाहिँदैन। पेज इन्डेक्स भएको र snippet देखाउन योग्य हुनुपर्छ।
के llms.txt सबफोल्डरमा राख्न सकिन्छ?
प्रस्तावको हालको संस्करणले /docs/llms.txt जस्तो subpath मा फाइल राख्न दिन्छ, जसले त्यो path मुनिका पेज समेट्छ। धेरैजसो साइटलाई root मा एउटा फाइल मात्र चाहिन्छ।
स्रोतहरू
- llmstxt.org: /llms.txt फाइल
- Google Search Central: AI सुविधा र तपाईंको वेबसाइट
- OpenAI: OpenAI क्रलरहरूको परिचय