किती साइट्स llms.txt प्रकाशित करतात? आम्ही 10,000 डोमेन तपासले
सर्वाधिक लोकप्रिय 10,000 डोमेनपैकी 12.4% llms.txt प्रकाशित करतात (1,240), आणि ज्यांचे होम पेज HTML ने उत्तर देते त्यापैकी 16.7%. मोठ्या साइट्स जास्त वेळा प्रकाशित करतात. llms.txt प्रकाशित करणाऱ्या साइट्स 1.4% प्रकरणांत AI सर्च क्रॉलर ब्लॉक करतात, तर प्रकाशित न करणाऱ्या 15.0%. ही मोजणी फक्त प्रकाशनाची आहे: कोणताही AI असिस्टंट ही फाइल वाचतो का हे ती दाखवत नाही.
llms.txt ही AI सर्चमधील सर्वाधिक चर्चेतील फाइल्सपैकी एक आहे, आणि सर्वात कमी मोजल्या गेलेल्यांपैकीही. आम्ही आधीच पहिल्या 10,000 डोमेनचे robots.txt वाचले होते, आणि त्याच फेरीत प्रत्येकाकडे /llms.txt मागितली. त्याचे उत्तर हे आहे.
या पेजवर
आम्ही हे कसे तपासले?
आम्ही Tranco यादीतील पहिले 10,000 डोमेन घेतले (यादी ID JZWZY). होम पेज वाचून त्याचा रीडायरेक्ट मुख्य होस्टपर्यंत फॉलो केल्यानंतर, 21 नोव्हेंबर 2026 रोजी AISeeWhy च्या स्वतःच्या यूजर एजंटद्वारे प्रत्येकाकडे /llms.txt एकदा मागितली.
/llms.txt स्वतः 200 ने उत्तर देते, मजकूर भाग रिकामा नसतो आणि HTML पेज नसते, आणि लॉगिन किंवा होम पेजसारख्या दुसऱ्या पेजवर रीडायरेक्ट होत नाही, तेव्हा डोमेन llms.txt प्रकाशित करते असे आम्ही मानतो. या फेरीत फाइलचे स्वरूप आम्ही तपासले नाही.
आम्हाला काय आढळले?
- 10,000 पैकी 1,240 डोमेन (12.4%)
llms.txtप्रकाशित करतात. - यादीत CDN आणि API होस्ट आहेत, जे कोणतीही वेबसाइट चालवत नाहीत. ज्यांच्या होम पेजने HTML ने उत्तर दिले अशा 7,367 डोमेनपैकी 1,233 (16.7%) ती प्रकाशित करतात.
- त्यांपैकी जवळजवळ सर्व robots.txt ही देतात: 1,240 पैकी 1,229.
मोठ्या साइट्स जास्त प्रकाशित करतात का?
होय, स्पष्ट फरकाने. आम्ही वेबसाइट्सना (ज्यांच्या होम पेजने HTML ने उत्तर दिले अशा डोमेनना) Tranco रँकनुसार विभागले:
- रँक 1 ते 1,000: 22.6% llms.txt प्रकाशित करतात (658 पैकी 149 वेबसाइट्स).
- रँक 1,001 ते 3,000: 18.2% (1,449 पैकी 264).
- रँक 3,001 ते 10,000: 15.6% (5,260 पैकी 820).
कोण प्रकाशित करते?
robots.txt देणाऱ्या 6,192 डोमेनपैकी, llms.txt प्रकाशित करणारे बाकीच्यांपेक्षा वेगळे दिसतात:
- ते 11.8% वेळा किमान एक AI ट्रेनिंग क्रॉलर ब्लॉक करतात, तर llms.txt नसलेले डोमेन 26.0% वेळा.
- ते 1.4% वेळा किमान एक AI सर्च किंवा यूजर क्रॉलर ब्लॉक करतात, तर इतर 15.0%.
- ते 12.9% वेळा
Content-Signalओळ वापरतात, तर इतर 4.9%.
म्हणजेच, llms.txt प्रकाशित करण्याची तसदी घेणाऱ्या साइट्स बहुतेकदा त्या असतात ज्या आधीच AI क्रॉलरना आत येऊ देतात.
हे काय दाखवत नाही?
हे परस्परसंबंध दाखवते, कारण नाही. AI दृश्यमानतेकडे गांभीर्याने पाहणारी साइट llms.txt प्रकाशित करू शकते आणि robots.txt ही खुले ठेवू शकते; याचा अर्थ फाइलमुळे फरक पडला असा नाही. ही मोजणी फक्त प्रकाशनाची आहे. कोणताही AI असिस्टंट ही फाइल वाचतो का हे ती दाखवत नाही, आणि मुख्य AI सर्च क्रॉलर ती वापरत असल्याचे सांगत नाहीत.
हे आकडे एका दिवशी, एका पत्त्यावरील फाइलचे आणि होम पेजच्या नियमांचे वर्णन करतात, सर्वाधिक लोकप्रिय डोमेनसाठी. लहान साइट्स वेगळ्या दिसू शकतात.
तुम्ही ती प्रकाशित करावी का?
ती स्वस्त आणि निरुपद्रवी आहे: तुमच्या साइटचा छोटा Markdown सारांश आणि सर्वाधिक उपयुक्त पेजांची यादी. ती अचूक ठेवा आणि तिच्या लिंक चालू ठेवा. क्रॉलरना आत येऊ देण्याला पर्याय म्हणून तिच्याकडे पाहू नका: ज्या साइटचा फायरवॉल क्रॉलरला नाकारतो किंवा ज्याचे robots.txt त्याला मनाई करते, तिथे llms.txt कोणालाच उपयोगी पडत नाही.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- llms.txt तपासणी आणि व्हॅलिडेटर
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
वारंवार विचारले जाणारे प्रश्न
किती टक्के वेबसाइट्सकडे llms.txt आहे?
आम्ही तपासलेल्या सर्वाधिक लोकप्रिय 10,000 डोमेनपैकी 12.4% ती प्रकाशित करतात. ज्यांचे होम पेज HTML ने उत्तर देते त्यांच्यात हा वाटा 16.7% आहे, आणि सर्वात मोठ्या साइट्समध्ये तो जास्त आहे: पहिल्या 1,000 मध्ये 22.6%.
llms.txt असलेल्या साइट्स AI क्रॉलरना जास्त वेळा परवानगी देतात का?
आमच्या डेटानुसार, होय: त्या 1.4% प्रकरणांत AI सर्च आणि यूजर क्रॉलर ब्लॉक करतात, तर फाइल नसलेल्या साइट्स 15.0%. हा परस्परसंबंध आहे. फाइलमुळे क्रॉलर साइटशी कसे वागतात ते बदलते असे यातून दिसत नाही.
llms.txt मुळे AI असिस्टंटकडून माझी साइट उद्धृत होण्यास मदत होते का?
आमचा डेटा हे सांगू शकत नाही. तो कोणत्या साइट्स फाइल प्रकाशित करतात ते मोजतो, असिस्टंट ती वापरतो का ते नाही, आणि मुख्य AI सर्च क्रॉलर ती वाचतात असे सांगत नाहीत. क्रॉल करता येणारी पेजेस आणि खुला प्रवेश जास्त महत्त्वाचे आहेत.
साइटकडे खरी llms.txt आहे की नाही हे कसे ओळखाल?
/llms.txt मागा आणि ती त्याच पत्त्यावर 200 ने उत्तर देते, तसेच तिचा मजकूर भाग HTML पेज नाही हे तपासा. होम पेज किंवा लॉगिन पेजवर रीडायरेक्ट होणे म्हणजे llms.txt नाही.
स्रोत
- llmstxt.org: /llms.txt फाइल
- AISeeWhy: AI क्रॉलर अॅक्सेस रिपोर्ट, 2026-11
- Tranco: संशोधनासाठी तयार केलेली टॉप साइट्स रँकिंग
- Google Search Central: AI वैशिष्ट्ये आणि तुमची वेबसाइट
- OpenAI: OpenAI क्रॉलरचा आढावा