कितनी साइटें llms.txt प्रकाशित करती हैं? हमने 10,000 डोमेन जाँचे

प्रकाशित

संक्षिप्त उत्तर

10,000 सबसे लोकप्रिय डोमेन में से 12.4% (1,240) llms.txt प्रकाशित करते हैं, और जिनका होम पेज HTML से जवाब देता है उनमें यह हिस्सा 16.7% है। बड़ी साइटें इसे ज़्यादा प्रकाशित करती हैं। इसे प्रकाशित करने वाली साइटें 1.4% मामलों में AI सर्च क्रॉलर को रोकती हैं, जबकि न करने वाली साइटों में यह 15.0% है। यह सिर्फ़ प्रकाशन की गिनती है: इससे पता नहीं चलता कि कोई AI असिस्टेंट यह फ़ाइल पढ़ता है या नहीं।

llms.txt AI सर्च की सबसे ज़्यादा चर्चित फ़ाइलों में से है, और सबसे कम मापी गई फ़ाइलों में से भी। हम शीर्ष 10,000 डोमेन की robots.txt पहले ही पढ़ चुके हैं, और उसी दौर में हर डोमेन से /llms.txt भी माँगा। यह रहा नतीजा।

इस पेज पर
  1. हमने जाँच कैसे की?
  2. हमें क्या मिला?
  3. क्या बड़ी साइटें ज़्यादा प्रकाशित करती हैं?
  4. इसे कौन प्रकाशित करता है?
  5. यह क्या नहीं दिखाता?
  6. क्या आपको इसे प्रकाशित करना चाहिए?

हमने जाँच कैसे की?

हमने Tranco सूची (सूची ID JZWZY) के शीर्ष 10,000 डोमेन लिए। 21 नवंबर 2026 को AISeeWhy के अपने user agent से हर डोमेन से /llms.txt एक बार माँगा। इससे पहले होम पेज पढ़ा और उसके मुख्य होस्ट तक रीडायरेक्ट का पालन किया।

कोई डोमेन तब llms.txt प्रकाशित करता माना गया जब /llms.txt खुद 200 के साथ जवाब दे, उसका टेक्स्ट बॉडी खाली न हो और HTML पेज न हो, और वह किसी दूसरे पेज, जैसे लॉगिन या होम पेज, पर रीडायरेक्ट न करे। इस बार हमने फ़ाइल का फ़ॉर्मेट नहीं जाँचा।

हमें क्या मिला?

क्या बड़ी साइटें ज़्यादा प्रकाशित करती हैं?

हाँ, साफ़ अंतर के साथ। हमने वेबसाइटों (जिन डोमेन का होम पेज HTML से जवाब देता है) को Tranco रैंक के हिसाब से बाँटा:

इसे कौन प्रकाशित करता है?

जिन 6,192 डोमेन पर robots.txt मिलती है, उनमें llms.txt प्रकाशित करने वाले बाकियों से अलग दिखते हैं:

दूसरे शब्दों में, जो साइटें llms.txt प्रकाशित करने की ज़हमत उठाती हैं, वे ज़्यादातर वही हैं जो AI क्रॉलर को पहले से अंदर आने देती हैं।

यह क्या नहीं दिखाता?

यह एक संबंध दिखाता है, कारण नहीं। जो साइट AI में दिखने को गंभीरता से लेती है, वह llms.txt प्रकाशित कर सकती है और अपनी robots.txt भी खुली रख सकती है। इसका मतलब यह नहीं कि अंतर इस फ़ाइल से आया। यह गिनती सिर्फ़ प्रकाशन मापती है। इससे पता नहीं चलता कि कोई AI असिस्टेंट यह फ़ाइल पढ़ता है या नहीं, और प्रमुख AI सर्च क्रॉलर यह नहीं कहते कि वे इसका इस्तेमाल करते हैं।

ये आँकड़े सबसे लोकप्रिय डोमेन के लिए, एक दिन, होम पेज के नियमों और एक पते की फ़ाइल का वर्णन करते हैं। छोटी साइटें अलग दिख सकती हैं।

क्या आपको इसे प्रकाशित करना चाहिए?

यह सस्ता और बेहद हानिरहित है: आपकी साइट का छोटा Markdown सारांश और आपके सबसे काम के पेजों की सूची। इसे सटीक रखें और इसके लिंक चालू रखें। इसे क्रॉलर को अंदर आने देने का विकल्प न समझें: जिस साइट का फ़ायरवॉल क्रॉलर को मना करता है, या जिसकी robots.txt उसे मना करती है, उस पर llms.txt किसी के काम नहीं आता।

मुफ़्त टूल

अगले कदम

अक्सर पूछे जाने वाले प्रश्न

कितनी वेबसाइटों के पास llms.txt है?

हमारे जाँचे 10,000 सबसे लोकप्रिय डोमेन में से 12.4% इसे प्रकाशित करते हैं। जिन डोमेन का होम पेज HTML से जवाब देता है उनमें यह हिस्सा 16.7% है, और सबसे बड़ी साइटों में ज़्यादा है: शीर्ष 1,000 में 22.6%।

क्या llms.txt वाली साइटें AI क्रॉलर को ज़्यादा अनुमति देती हैं?

हमारे डेटा में हाँ: वे 1.4% मामलों में AI सर्च और यूज़र क्रॉलर को रोकती हैं, जबकि इसके बिना वाली साइटें 15.0% में। यह सहसंबंध है। इससे यह साबित नहीं होता कि फ़ाइल क्रॉलर के बर्ताव को बदलती है।

क्या llms.txt से AI असिस्टेंट के हवाले में आने में मदद मिलती है?

हमारा डेटा यह नहीं बता सकता। वह गिनता है कि कौन सी साइटें फ़ाइल प्रकाशित करती हैं, यह नहीं कि कोई असिस्टेंट उसका इस्तेमाल करता है, और प्रमुख AI सर्च क्रॉलर यह नहीं कहते कि वे इसे पढ़ते हैं। क्रॉल हो सकने वाले पेज और खुली पहुँच ज़्यादा मायने रखते हैं।

आप कैसे पहचानते हैं कि किसी साइट के पास असली llms.txt है?

/llms.txt माँगें और जाँचें कि वह उसी पते पर 200 से जवाब देता है और उसका बॉडी टेक्स्ट है, HTML पेज नहीं। होम पेज या लॉगिन पेज पर रीडायरेक्ट llms.txt नहीं है।

स्रोत

और लेख