कति साइटले llms.txt प्रकाशित गर्छन्? हामीले 10,000 डोमेन जाँच्यौं

प्रकाशित

छोटो उत्तर

सबैभन्दा लोकप्रिय 10,000 डोमेनमध्ये 12.4% (1,240) ले llms.txt प्रकाशित गर्छन्, र गृहपृष्ठले HTML ले जवाफ दिने डोमेनमा 16.7%। ठूला साइटले बढी प्रकाशित गर्छन्। प्रकाशित गर्ने साइटले 1.4% मा AI खोज क्रलर रोक्छन्, नगर्ने साइटमा 15.0%। यसले प्रकाशन मात्र गन्छ: कुनै AI सहायकले फाइल पढ्छ कि पढ्दैन भन्ने देखाउँदैन।

llms.txt AI खोजमा सबैभन्दा धेरै चर्चा हुने फाइलमध्ये एक हो, र सबैभन्दा कम नापिएको पनि। हामीले शीर्ष 10,000 डोमेनको robots.txt पहिले नै पढिसकेका थियौं, र त्यही चरणमा प्रत्येकसँग /llms.txt पनि माग्यौं। फर्किएको नतिजा यस्तो छ।

यस पेजमा
  1. हामीले कसरी जाँच्यौं?
  2. हामीले के भेट्टायौं?
  3. के ठूला साइटले बढी प्रकाशित गर्छन्?
  4. कसले प्रकाशित गर्छ?
  5. यसले के देखाउँदैन?
  6. तपाईंले प्रकाशित गर्नुपर्छ?

हामीले कसरी जाँच्यौं?

हामीले Tranco सूचीका शीर्ष 10,000 डोमेन (सूची ID JZWZY) लियौं र गृहपृष्ठ पढेर त्यसको मुख्य होस्टसम्म रिडिरेक्ट पछ्याएपछि, 21 नोभेम्बर 2026 मा AISeeWhy को आफ्नै user agent द्वारा प्रत्येकबाट एक-एक पटक /llms.txt अनुरोध गर्‍यौं।

/llms.txt आफैंले 200, खाली नभएको र HTML पेज नभएको टेक्स्ट बडी, र लगइन वा गृहपृष्ठजस्तो अर्को पेजमा रिडिरेक्ट नगरी जवाफ दिएमा डोमेनले llms.txt प्रकाशित गरेको मानिन्छ। यो चरणमा हामीले फाइलको ढाँचा जाँचेनौं।

हामीले के भेट्टायौं?

के ठूला साइटले बढी प्रकाशित गर्छन्?

गर्छन्, स्पष्ट अन्तरले। हामीले वेबसाइट (गृहपृष्ठले HTML ले जवाफ दिने डोमेन) लाई Tranco श्रेणी अनुसार बाँड्यौं:

कसले प्रकाशित गर्छ?

robots.txt दिने 6,192 डोमेनमा, llms.txt प्रकाशित गर्नेहरू बाँकीभन्दा फरक देखिन्छन्:

अर्थात्, llms.txt प्रकाशित गर्ने चासो राख्ने साइटहरू प्रायः पहिल्यै AI क्रलरलाई भित्र आउन दिने साइट नै हुन्।

यसले के देखाउँदैन?

यसले सम्बन्ध देखाउँछ, कारण होइन। AI दृश्यतालाई गम्भीरतापूर्वक लिने साइटले llms.txt प्रकाशित गर्न र robots.txt खुला राख्न पनि सक्छ; यसको अर्थ फाइलले फरक पारेको भन्ने होइन। गन्तीले प्रकाशन मात्र नाप्छ। कुनै AI सहायकले फाइल पढ्छ कि पढ्दैन भन्ने यसले देखाउँदैन, र प्रमुख AI खोज क्रलरले यसलाई प्रयोग गर्छन् भनेर भनेका छैनन्।

संख्याले सबैभन्दा लोकप्रिय डोमेनका लागि एउटै दिन गृहपृष्ठका नियम र एउटै ठेगानाको फाइल वर्णन गर्छन्। साना साइट फरक देखिन सक्छन्।

तपाईंले प्रकाशित गर्नुपर्छ?

यो सस्तो र हानिरहित छ: तपाईंको साइटको छोटो Markdown सारांश र सबैभन्दा उपयोगी पेजको सूची। यसलाई सही राख्नुहोस् र लिङ्कहरू चालू राख्नुहोस्। क्रलरलाई भित्र आउन दिनुको विकल्प ठान्नुहुन्न: फायरवालले क्रलर फर्काउने वा robots.txt ले निषेध गर्ने साइटमा llms.txt ले कसैलाई सहयोग गर्दैन।

निःशुल्क टुल

अर्को कदम

बारम्बार सोधिने प्रश्नहरू

कति प्रतिशत वेबसाइटमा llms.txt छ?

हामीले जाँचेका सबैभन्दा लोकप्रिय 10,000 डोमेनमध्ये 12.4% ले एउटा प्रकाशित गर्छन्। गृहपृष्ठले HTML ले जवाफ दिने डोमेनमा अनुपात 16.7% छ, र सबैभन्दा ठूला साइटमा बढी छ: शीर्ष 1,000 मा 22.6%।

llms.txt भएका साइटले AI क्रलरलाई बढी अनुमति दिन्छन्?

हाम्रो तथ्याङ्कमा दिन्छन्: तिनले 1.4% मा AI खोज र प्रयोगकर्ता क्रलर रोक्छन्, नभएका साइटमा 15.0%। यो सहसम्बन्ध हो। यसले फाइलले क्रलरले साइटलाई गर्ने व्यवहार बदल्छ भन्ने देखाउँदैन।

llms.txt ले मलाई AI सहायकले उद्धृत गर्न मद्दत गर्छ?

हाम्रो तथ्याङ्कले भन्न सक्दैन। यसले कुन साइटले फाइल प्रकाशित गर्छन् भनेर गन्छ, सहायकले प्रयोग गर्छ कि गर्दैन भनेर होइन, र प्रमुख AI खोज क्रलरले यसलाई पढ्छन् भनेर भनेका छैनन्। क्रल गर्न मिल्ने पेज र खुला पहुँच बढी महत्त्वपूर्ण छन्।

साइटमा वास्तविक llms.txt छ भनेर कसरी थाहा पाउने?

/llms.txt अनुरोध गर्नुहोस् र त्यही ठेगानामा 200 सहित HTML पेज नभएको टेक्स्ट बडीले जवाफ दिन्छ कि जाँच्नुहोस्। गृहपृष्ठ वा लगइन पेजमा रिडिरेक्ट llms.txt होइन।

स्रोतहरू

थप लेखहरू