कितनी साइटें llms.txt प्रकाशित करती हैं? हमने 10,000 डोमेन जाँचे
10,000 सबसे लोकप्रिय डोमेन में से 12.4% (1,240) llms.txt प्रकाशित करते हैं, और जिनका होम पेज HTML से जवाब देता है उनमें यह हिस्सा 16.7% है। बड़ी साइटें इसे ज़्यादा प्रकाशित करती हैं। इसे प्रकाशित करने वाली साइटें 1.4% मामलों में AI सर्च क्रॉलर को रोकती हैं, जबकि न करने वाली साइटों में यह 15.0% है। यह सिर्फ़ प्रकाशन की गिनती है: इससे पता नहीं चलता कि कोई AI असिस्टेंट यह फ़ाइल पढ़ता है या नहीं।
llms.txt AI सर्च की सबसे ज़्यादा चर्चित फ़ाइलों में से है, और सबसे कम मापी गई फ़ाइलों में से भी। हम शीर्ष 10,000 डोमेन की robots.txt पहले ही पढ़ चुके हैं, और उसी दौर में हर डोमेन से /llms.txt भी माँगा। यह रहा नतीजा।
इस पेज पर
हमने जाँच कैसे की?
हमने Tranco सूची (सूची ID JZWZY) के शीर्ष 10,000 डोमेन लिए। 21 नवंबर 2026 को AISeeWhy के अपने user agent से हर डोमेन से /llms.txt एक बार माँगा। इससे पहले होम पेज पढ़ा और उसके मुख्य होस्ट तक रीडायरेक्ट का पालन किया।
कोई डोमेन तब llms.txt प्रकाशित करता माना गया जब /llms.txt खुद 200 के साथ जवाब दे, उसका टेक्स्ट बॉडी खाली न हो और HTML पेज न हो, और वह किसी दूसरे पेज, जैसे लॉगिन या होम पेज, पर रीडायरेक्ट न करे। इस बार हमने फ़ाइल का फ़ॉर्मेट नहीं जाँचा।
हमें क्या मिला?
- 10,000 में से 1,240 डोमेन (12.4%)
llms.txtप्रकाशित करते हैं। - सूची में ऐसे CDN और API होस्ट भी हैं जो कोई वेबसाइट नहीं चलाते। जिन 7,367 डोमेन का होम पेज HTML से जवाब देता है, उनमें से 1,233 (16.7%) इसे प्रकाशित करते हैं।
- लगभग सभी robots.txt भी देते हैं: 1,240 में से 1,229।
क्या बड़ी साइटें ज़्यादा प्रकाशित करती हैं?
हाँ, साफ़ अंतर के साथ। हमने वेबसाइटों (जिन डोमेन का होम पेज HTML से जवाब देता है) को Tranco रैंक के हिसाब से बाँटा:
- रैंक 1 से 1,000: 22.6% llms.txt प्रकाशित करती हैं (658 वेबसाइटों में से 149)।
- रैंक 1,001 से 3,000: 18.2% (1,449 में से 264)।
- रैंक 3,001 से 10,000: 15.6% (5,260 में से 820)।
इसे कौन प्रकाशित करता है?
जिन 6,192 डोमेन पर robots.txt मिलती है, उनमें llms.txt प्रकाशित करने वाले बाकियों से अलग दिखते हैं:
- वे 11.8% मामलों में कम से कम एक AI ट्रेनिंग क्रॉलर को रोकते हैं, जबकि llms.txt के बिना वाले डोमेन में यह 26.0% है।
- वे 1.4% मामलों में कम से कम एक AI सर्च या यूज़र क्रॉलर को रोकते हैं, जबकि दूसरों में 15.0%।
- वे 12.9% मामलों में
Content-Signalलाइन इस्तेमाल करते हैं, जबकि दूसरे 4.9% में।
दूसरे शब्दों में, जो साइटें llms.txt प्रकाशित करने की ज़हमत उठाती हैं, वे ज़्यादातर वही हैं जो AI क्रॉलर को पहले से अंदर आने देती हैं।
यह क्या नहीं दिखाता?
यह एक संबंध दिखाता है, कारण नहीं। जो साइट AI में दिखने को गंभीरता से लेती है, वह llms.txt प्रकाशित कर सकती है और अपनी robots.txt भी खुली रख सकती है। इसका मतलब यह नहीं कि अंतर इस फ़ाइल से आया। यह गिनती सिर्फ़ प्रकाशन मापती है। इससे पता नहीं चलता कि कोई AI असिस्टेंट यह फ़ाइल पढ़ता है या नहीं, और प्रमुख AI सर्च क्रॉलर यह नहीं कहते कि वे इसका इस्तेमाल करते हैं।
ये आँकड़े सबसे लोकप्रिय डोमेन के लिए, एक दिन, होम पेज के नियमों और एक पते की फ़ाइल का वर्णन करते हैं। छोटी साइटें अलग दिख सकती हैं।
क्या आपको इसे प्रकाशित करना चाहिए?
यह सस्ता और बेहद हानिरहित है: आपकी साइट का छोटा Markdown सारांश और आपके सबसे काम के पेजों की सूची। इसे सटीक रखें और इसके लिंक चालू रखें। इसे क्रॉलर को अंदर आने देने का विकल्प न समझें: जिस साइट का फ़ायरवॉल क्रॉलर को मना करता है, या जिसकी robots.txt उसे मना करती है, उस पर llms.txt किसी के काम नहीं आता।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- llms.txt चेकर और वैलिडेटर
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
अक्सर पूछे जाने वाले प्रश्न
कितनी वेबसाइटों के पास llms.txt है?
हमारे जाँचे 10,000 सबसे लोकप्रिय डोमेन में से 12.4% इसे प्रकाशित करते हैं। जिन डोमेन का होम पेज HTML से जवाब देता है उनमें यह हिस्सा 16.7% है, और सबसे बड़ी साइटों में ज़्यादा है: शीर्ष 1,000 में 22.6%।
क्या llms.txt वाली साइटें AI क्रॉलर को ज़्यादा अनुमति देती हैं?
हमारे डेटा में हाँ: वे 1.4% मामलों में AI सर्च और यूज़र क्रॉलर को रोकती हैं, जबकि इसके बिना वाली साइटें 15.0% में। यह सहसंबंध है। इससे यह साबित नहीं होता कि फ़ाइल क्रॉलर के बर्ताव को बदलती है।
क्या llms.txt से AI असिस्टेंट के हवाले में आने में मदद मिलती है?
हमारा डेटा यह नहीं बता सकता। वह गिनता है कि कौन सी साइटें फ़ाइल प्रकाशित करती हैं, यह नहीं कि कोई असिस्टेंट उसका इस्तेमाल करता है, और प्रमुख AI सर्च क्रॉलर यह नहीं कहते कि वे इसे पढ़ते हैं। क्रॉल हो सकने वाले पेज और खुली पहुँच ज़्यादा मायने रखते हैं।
आप कैसे पहचानते हैं कि किसी साइट के पास असली llms.txt है?
/llms.txt माँगें और जाँचें कि वह उसी पते पर 200 से जवाब देता है और उसका बॉडी टेक्स्ट है, HTML पेज नहीं। होम पेज या लॉगिन पेज पर रीडायरेक्ट llms.txt नहीं है।
स्रोत
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers