हामीले सबैभन्दा लोकप्रिय 10,000 साइटको robots.txt पढ्यौं। AI क्रलरबारे तिनले यसो गर्छन्
Tranco को शीर्ष 10,000 मध्ये robots.txt दिने 6,192 डोमेनमा 23.2% ले कम्तीमा एउटा AI तालिम क्रलर र 12.3% ले कम्तीमा एउटा AI खोज वा प्रयोगकर्ता क्रलर रोक्छन्। तालिम रोक्ने साइटमध्ये 51.6% ले AI खोज पनि रोक्छन्। केवल 11.2% ले सबै AI खोज क्रलरलाई अनुमति दिँदै तालिमबाट बाहिर बस्छन्।
नोभेम्बरमा हामीले सबैभन्दा लोकप्रिय 1,000 डोमेनको robots.txt पढेका थियौं। यसपटक उही विधिले 10,000 पढ्यौं, र साइट सानो हुँदै जाँदा तस्बिर कसरी बदलिन्छ भन्ने जाँच पनि थप्यौं। मुख्य निष्कर्ष कायम छ: तालिम रोक्ने र खोज रोक्ने दुईवटा निर्णय भए पनि तिनलाई एउटै निर्णयजस्तो व्यवहार गरिन्छ।
यस पेजमा
हामीले यो कसरी नाप्यौं?
हामीले Tranco सूचीका शीर्ष 10,000 डोमेन (सूची ID JZWZY) लियौं र 21 नोभेम्बर 2026 मा AISeeWhy को आफ्नै user agent द्वारा प्रत्येक डोमेनको गृहपृष्ठ, robots.txt र llms.txt एक-एक पटक ल्यायौं। हामीले प्रत्येक robots.txt लाई गृहपृष्ठ (/) र 16 AI तथा खोज क्रलरका लागि RFC 9309 अनुसार जाँच्यौं।
10,000 मध्ये 6,192 डोमेनले robots.txt दिए (HTML पेज नभएको सफल जवाफ)। 1,121 ले 4xx ले जवाफ दिए, जसको अर्थ कुनै नियम छैन र सबै क्रलर अनुमत छन्, र 2,687 ले दिएनन् (HTTPS साइट नभएको, त्रुटि, समयसमाप्ति वा सट्टामा HTML पेज)। तलका सबै प्रतिशत 6,192 को हुन्। सूचीमा वेबसाइट नचलाउने CDN र API पनि छन्।
हामीले के भेट्टायौं?
- 23.2% (1,437 डोमेन) ले कम्तीमा एउटा AI तालिम क्रलर रोक्छन्।
- 12.3% (762) ले कम्तीमा एउटा AI खोज वा प्रयोगकर्ता क्रलर रोक्छन्, त्यसैले ती पेज त्यस क्रलरमा भर पर्ने उत्तरहरूमा प्रयोग वा उद्धृत हुनु हुँदैन।
- तालिम क्रलर रोक्ने डोमेनमध्ये 51.6% (1,437 मध्ये 742) ले कम्तीमा एउटा AI खोज वा प्रयोगकर्ता क्रलर पनि रोक्छन्।
- केवल 11.2% (695) ले चयनात्मक बाटो लिन्छन्: तालिम क्रलर रोक्छन् र सबै AI खोज तथा प्रयोगकर्ता क्रलरलाई अनुमति दिन्छन्।
- 6.5% (401) ले आफ्ना AI प्राथमिकता
Content-Signalमा लेख्छन्। - सबै 10,000 डोमेनमध्ये 12.4% (1,240) ले
llms.txtप्रकाशित गर्छन्। - तुलनाका लागि, 2.0% (124) ले गृहपृष्ठमा
Googlebotरोक्छन्।
कुन क्रलर सबैभन्दा धेरै रोकिन्छन्?
6,192 डोमेनमध्ये जसको robots.txt ले क्रलरका लागि गृहपृष्ठ निषेध गर्छ, तिनको अनुपात:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%।Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%।PerplexityBot10.4% सबैभन्दा बढी रोकिने AI खोज क्रलर हो, त्यसपछिOAI-SearchBot7.0% रClaude-SearchBot7.0%।- कसैले सोध्दा पेज खोल्ने क्रलर:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%।
के ठूला साइटले बढी रोक्छन्?
रोक्छन्, र तालिम र खोजलाई बढी मिसाउँछन् पनि। हामीले सूचीलाई श्रेणी अनुसार बाँड्यौं:
- श्रेणी 1 देखि 1,000 (robots.txt भएका 560 डोमेन): 28.6% ले तालिम रोक्छन्, 18.6% ले AI खोज रोक्छन्, र तालिम रोक्नेमध्ये 63.1% ले AI खोज पनि रोक्छन्।
- श्रेणी 1,001 देखि 3,000 (1,256 डोमेन): 23.5%, 13.5% र 55.6%।
- श्रेणी 3,001 देखि 10,000 (4,376 डोमेन): 22.4%, 11.2% र 48.6%।
चयनात्मक बाटो हरेक आकारमा दुर्लभ छ: तीन समूहका डोमेनमध्ये 10.5%, 10.4% र 11.5%।
हाम्रो 12 नोभेम्बरको रिपोर्टपछि केही बदलिएको छ?
हामीले उही सूचीसँग पहिलो 1,000 डोमेन फेरि चलायौं। नतिजा लगभग एक अङ्कभित्र स्थिर छ: 28.6% ले तालिम रोक्छन् (12 नोभेम्बरमा 29.9%), 18.6% ले AI खोज रोक्छन् (19.5%), र तालिम रोक्नेमध्ये 63.1% ले AI खोज पनि रोक्छन् (63.2%)। भाजक संख्या थोरै फरक छ (अहिले robots.txt भएका 560 डोमेन, तब 518), किनभने यो पटक डोमेनलाई ल्याउनुअघि त्यसको मुख्य होस्टमा रिडिरेक्ट पछ्याइएको छ।
तपाईंको robots.txt का लागि यसको अर्थ के हो?
अधिकांश AI कम्पनीहरूले तालिम र खोजका लागि छुट्टाछुट्टै क्रलर उल्लेख गर्छन् र सेटिङ स्वतन्त्र हुन्छन् भन्छन्। GPTBot निषेध गर्दा OAI-SearchBot प्रभावित हुँदैन, र ClaudeBot निषेध गर्दा Claude-SearchBot प्रभावित हुँदैन। तालिमबाट बाहिर बस्दै उद्धृत हुन पनि चाहनुहुन्छ भने तालिम टोकन रोक्नुहोस् र खोज तथा प्रयोगकर्ता टोकनलाई अनुमति दिनुहोस्, र कुनै निजी बाटो भए प्रत्येक समूहमा दोहोर्याउनुहोस्, किनभने नाम लिइएको समूहले * बाट केही उत्तराधिकार पाउँदैन।
यी संख्या कत्तिको भरपर्दो छन्?
यी एउटै दिन एउटै पार्सरले पढेका गृहपृष्ठका robots.txt नियम हुन्। तिनले फायरवाल ब्लक नाप्दैनन्, जसले robots.txt ले अनुमति दिएको क्रलरलाई पनि अस्वीकार गर्न सक्छ। प्रत्येक साइटले के चाहेको थियो भन्ने तिनले भन्न सक्दैनन्, र Tranco सूचीमा वेबसाइट नचलाउने डोमेन पनि छन्। खोज क्रलर रोक्ने नियम गल्तीको प्रमाण होइन, केवल प्रायः भिन्नता नजानी गरिने छनोटको प्रमाण हो। तपाईंले यो पेजको लिङ्कसहित यी तथ्याङ्क उद्धृत गर्न सक्नुहुन्छ।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- llms.txt चेकर र भ्यालिडेटर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
कति प्रतिशत लोकप्रिय साइटले AI क्रलर रोक्छन्?
Tranco को शीर्ष 10,000 मध्ये robots.txt दिने 6,192 डोमेनमा 23.2% ले कम्तीमा एउटा AI तालिम क्रलर र 12.3% ले कम्तीमा एउटा AI खोज वा प्रयोगकर्ता क्रलर रोक्छन्।
AI तालिम रोक्ने साइटले AI खोज पनि रोक्छन्?
प्रायः रोक्छन्। तालिम क्रलर रोक्ने साइटमध्ये 51.6% ले कम्तीमा एउटा AI खोज वा प्रयोगकर्ता क्रलर पनि रोक्छन्, यद्यपि विक्रेताहरूले तिनलाई स्वतन्त्र सेटिङ भएका छुट्टाछुट्टै क्रलरका रूपमा उल्लेख गर्छन्।
कुन AI क्रलर सबैभन्दा धेरै रोकिन्छ?
तालिम क्रलरमध्ये Bytespider (18.7%) र CCBot (18.5%), त्यसपछि GPTBot (17.4%)। AI खोज क्रलरमध्ये PerplexityBot सबैभन्दा बढी रोकिन्छ, 10.4% डोमेनमा।
तपाईंको 1,000 साइटको रिपोर्टसँग संख्या किन फरक छ?
पहिलो 1,000 डोमेनले लगभग उही प्रतिशत दिन्छन् (28.6% र 18.6%, जबकि 29.9% र 19.5%)। 10,000 साइटका संख्या कम छन् किनभने साना साइटले कम रोक्छन्।
स्रोतहरू
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11
- Tranco: अनुसन्धानमुखी शीर्ष साइट श्रेणीकरण
- RFC 9309: रोबोट बहिष्करण प्रोटोकल
- OpenAI: OpenAI क्रलरहरूको परिचय
- Anthropic: के Anthropic ले वेबबाट डेटा क्रल गर्छ, र साइट मालिकले क्रलर कसरी रोक्न सक्छन्?
- Perplexity: Perplexity क्रलरहरू