कति साइटले llms.txt प्रकाशित गर्छन्? हामीले 10,000 डोमेन जाँच्यौं
सबैभन्दा लोकप्रिय 10,000 डोमेनमध्ये 12.4% (1,240) ले llms.txt प्रकाशित गर्छन्, र गृहपृष्ठले HTML ले जवाफ दिने डोमेनमा 16.7%। ठूला साइटले बढी प्रकाशित गर्छन्। प्रकाशित गर्ने साइटले 1.4% मा AI खोज क्रलर रोक्छन्, नगर्ने साइटमा 15.0%। यसले प्रकाशन मात्र गन्छ: कुनै AI सहायकले फाइल पढ्छ कि पढ्दैन भन्ने देखाउँदैन।
llms.txt AI खोजमा सबैभन्दा धेरै चर्चा हुने फाइलमध्ये एक हो, र सबैभन्दा कम नापिएको पनि। हामीले शीर्ष 10,000 डोमेनको robots.txt पहिले नै पढिसकेका थियौं, र त्यही चरणमा प्रत्येकसँग /llms.txt पनि माग्यौं। फर्किएको नतिजा यस्तो छ।
यस पेजमा
हामीले कसरी जाँच्यौं?
हामीले Tranco सूचीका शीर्ष 10,000 डोमेन (सूची ID JZWZY) लियौं र गृहपृष्ठ पढेर त्यसको मुख्य होस्टसम्म रिडिरेक्ट पछ्याएपछि, 21 नोभेम्बर 2026 मा AISeeWhy को आफ्नै user agent द्वारा प्रत्येकबाट एक-एक पटक /llms.txt अनुरोध गर्यौं।
/llms.txt आफैंले 200, खाली नभएको र HTML पेज नभएको टेक्स्ट बडी, र लगइन वा गृहपृष्ठजस्तो अर्को पेजमा रिडिरेक्ट नगरी जवाफ दिएमा डोमेनले llms.txt प्रकाशित गरेको मानिन्छ। यो चरणमा हामीले फाइलको ढाँचा जाँचेनौं।
हामीले के भेट्टायौं?
- 10,000 मध्ये 1,240 डोमेन (12.4%) ले
llms.txtप्रकाशित गर्छन्। - सूचीमा वेबसाइट नचलाउने CDN र API होस्ट पनि छन्। गृहपृष्ठले HTML ले जवाफ दिएका 7,367 डोमेनमध्ये 1,233 (16.7%) ले एउटा प्रकाशित गर्छन्।
- तीमध्ये लगभग सबैले robots.txt पनि दिन्छन्: 1,240 मध्ये 1,229।
के ठूला साइटले बढी प्रकाशित गर्छन्?
गर्छन्, स्पष्ट अन्तरले। हामीले वेबसाइट (गृहपृष्ठले HTML ले जवाफ दिने डोमेन) लाई Tranco श्रेणी अनुसार बाँड्यौं:
- श्रेणी 1 देखि 1,000: 22.6% ले llms.txt प्रकाशित गर्छन् (658 वेबसाइटमध्ये 149)।
- श्रेणी 1,001 देखि 3,000: 18.2% (1,449 मध्ये 264)।
- श्रेणी 3,001 देखि 10,000: 15.6% (5,260 मध्ये 820)।
कसले प्रकाशित गर्छ?
robots.txt दिने 6,192 डोमेनमा, llms.txt प्रकाशित गर्नेहरू बाँकीभन्दा फरक देखिन्छन्:
- llms.txt नभएका डोमेनमा 26.0% को तुलनामा, तिनले 11.8% मा कम्तीमा एउटा AI तालिम क्रलर रोक्छन्।
- 15.0% को तुलनामा, तिनले 1.4% मा कम्तीमा एउटा AI खोज वा प्रयोगकर्ता क्रलर रोक्छन्।
- 4.9% को तुलनामा, तिनले 12.9% मा
Content-Signalलाइन प्रयोग गर्छन्।
अर्थात्, llms.txt प्रकाशित गर्ने चासो राख्ने साइटहरू प्रायः पहिल्यै AI क्रलरलाई भित्र आउन दिने साइट नै हुन्।
यसले के देखाउँदैन?
यसले सम्बन्ध देखाउँछ, कारण होइन। AI दृश्यतालाई गम्भीरतापूर्वक लिने साइटले llms.txt प्रकाशित गर्न र robots.txt खुला राख्न पनि सक्छ; यसको अर्थ फाइलले फरक पारेको भन्ने होइन। गन्तीले प्रकाशन मात्र नाप्छ। कुनै AI सहायकले फाइल पढ्छ कि पढ्दैन भन्ने यसले देखाउँदैन, र प्रमुख AI खोज क्रलरले यसलाई प्रयोग गर्छन् भनेर भनेका छैनन्।
संख्याले सबैभन्दा लोकप्रिय डोमेनका लागि एउटै दिन गृहपृष्ठका नियम र एउटै ठेगानाको फाइल वर्णन गर्छन्। साना साइट फरक देखिन सक्छन्।
तपाईंले प्रकाशित गर्नुपर्छ?
यो सस्तो र हानिरहित छ: तपाईंको साइटको छोटो Markdown सारांश र सबैभन्दा उपयोगी पेजको सूची। यसलाई सही राख्नुहोस् र लिङ्कहरू चालू राख्नुहोस्। क्रलरलाई भित्र आउन दिनुको विकल्प ठान्नुहुन्न: फायरवालले क्रलर फर्काउने वा robots.txt ले निषेध गर्ने साइटमा llms.txt ले कसैलाई सहयोग गर्दैन।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- llms.txt चेकर र भ्यालिडेटर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
बारम्बार सोधिने प्रश्नहरू
कति प्रतिशत वेबसाइटमा llms.txt छ?
हामीले जाँचेका सबैभन्दा लोकप्रिय 10,000 डोमेनमध्ये 12.4% ले एउटा प्रकाशित गर्छन्। गृहपृष्ठले HTML ले जवाफ दिने डोमेनमा अनुपात 16.7% छ, र सबैभन्दा ठूला साइटमा बढी छ: शीर्ष 1,000 मा 22.6%।
llms.txt भएका साइटले AI क्रलरलाई बढी अनुमति दिन्छन्?
हाम्रो तथ्याङ्कमा दिन्छन्: तिनले 1.4% मा AI खोज र प्रयोगकर्ता क्रलर रोक्छन्, नभएका साइटमा 15.0%। यो सहसम्बन्ध हो। यसले फाइलले क्रलरले साइटलाई गर्ने व्यवहार बदल्छ भन्ने देखाउँदैन।
llms.txt ले मलाई AI सहायकले उद्धृत गर्न मद्दत गर्छ?
हाम्रो तथ्याङ्कले भन्न सक्दैन। यसले कुन साइटले फाइल प्रकाशित गर्छन् भनेर गन्छ, सहायकले प्रयोग गर्छ कि गर्दैन भनेर होइन, र प्रमुख AI खोज क्रलरले यसलाई पढ्छन् भनेर भनेका छैनन्। क्रल गर्न मिल्ने पेज र खुला पहुँच बढी महत्त्वपूर्ण छन्।
साइटमा वास्तविक llms.txt छ भनेर कसरी थाहा पाउने?
/llms.txt अनुरोध गर्नुहोस् र त्यही ठेगानामा 200 सहित HTML पेज नभएको टेक्स्ट बडीले जवाफ दिन्छ कि जाँच्नुहोस्। गृहपृष्ठ वा लगइन पेजमा रिडिरेक्ट llms.txt होइन।
स्रोतहरू
- llmstxt.org: /llms.txt फाइल
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11
- Tranco: अनुसन्धानमुखी शीर्ष साइट श्रेणीकरण
- Google Search Central: AI सुविधाहरू र तपाईंको वेबसाइट
- OpenAI: OpenAI क्रलरहरूको परिचय