आम्ही सर्वाधिक लोकप्रिय 10,000 साइट्सचे robots.txt वाचले. AI क्रॉलरबाबत त्या काय करतात ते येथे आहे

प्रकाशित

छोटे उत्तर

Tranco च्या पहिल्या 10,000 मधील robots.txt देणाऱ्या 6,192 डोमेनपैकी 23.2% किमान एक AI ट्रेनिंग क्रॉलर ब्लॉक करतात आणि 12.3% किमान एक AI सर्च किंवा यूजर क्रॉलर ब्लॉक करतात. ट्रेनिंग ब्लॉक करणाऱ्या साइट्सपैकी 51.6% AI सर्चही ब्लॉक करतात. फक्त 11.2% साइट्स सर्व AI सर्च क्रॉलरना परवानगी देऊन ट्रेनिंगमधून बाहेर पडतात.

नोव्हेंबरमध्ये आम्ही सर्वाधिक लोकप्रिय 1,000 डोमेनचे robots.txt वाचले होते. यावेळी त्याच पद्धतीने 10,000 वाचले आणि साइट्स लहान होत जातात तसे चित्र कसे बदलते हेही तपासले. मुख्य निष्कर्ष तसाच आहे: ट्रेनिंग ब्लॉक करणे आणि सर्च ब्लॉक करणे हे दोन वेगळे निर्णय असूनही ते एकच निर्णय मानले जातात.

या पेजवर
  1. आम्ही हे कसे मोजले?
  2. आम्हाला काय आढळले?
  3. कोणते क्रॉलर सर्वाधिक वेळा ब्लॉक केले जातात?
  4. मोठ्या साइट्स जास्त ब्लॉक करतात का?
  5. आमच्या 12 नोव्हेंबरच्या अहवालानंतर काही बदलले का?
  6. तुमच्या robots.txt साठी याचा अर्थ काय?
  7. हे आकडे किती विश्वासार्ह आहेत?

आम्ही हे कसे मोजले?

आम्ही Tranco यादीतील पहिले 10,000 डोमेन घेतले (यादी ID JZWZY) आणि 21 नोव्हेंबर 2026 रोजी AISeeWhy च्या स्वतःच्या यूजर एजंटद्वारे प्रत्येक डोमेनचे होम पेज, robots.txt आणि llms.txt एकदा मिळवले. प्रत्येक robots.txt चे मूल्यमापन होम पेज (/) आणि 16 AI व सर्च क्रॉलरसाठी RFC 9309 नुसार केले.

10,000 पैकी 6,192 डोमेनने robots.txt दिले (यशस्वी उत्तर, जे HTML पेज नाही). 1,121 ने 4xx उत्तर दिले, म्हणजे कोणतेही नियम नाहीत आणि सर्व क्रॉलरना परवानगी आहे. 2,687 ने robots.txt दिले नाही (HTTPS साइट नाही, त्रुटी, टाइमआउट किंवा त्याऐवजी HTML पेज). खालील सर्व टक्केवारी या 6,192 पैकी आहे. यादीत CDN आणि API आहेत, जे कोणतीही वेबसाइट चालवत नाहीत.

आम्हाला काय आढळले?

कोणते क्रॉलर सर्वाधिक वेळा ब्लॉक केले जातात?

ज्या 6,192 डोमेनच्या robots.txt मध्ये त्या क्रॉलरसाठी होम पेज नाकारलेले आहे त्यांचा वाटा:

मोठ्या साइट्स जास्त ब्लॉक करतात का?

होय, आणि त्या ट्रेनिंग व सर्च यांची जास्त वेळा गल्लत करतात. आम्ही यादी रँकनुसार विभागली:

निवडक मार्ग प्रत्येक आकारात दुर्मिळ आहे: तीन गटांतील 10.5%, 10.4% आणि 11.5% डोमेन.

आमच्या 12 नोव्हेंबरच्या अहवालानंतर काही बदलले का?

आम्ही त्याच यादीतील पहिले 1,000 डोमेन पुन्हा तपासले. निकाल सुमारे एका टक्क्याच्या फरकात स्थिर आहे: 28.6% ट्रेनिंग ब्लॉक करतात (12 नोव्हेंबरला 29.9%), 18.6% AI सर्च ब्लॉक करतात (19.5%), आणि ट्रेनिंग ब्लॉक करणाऱ्यांपैकी 63.1% AI सर्चही ब्लॉक करतात (63.2%). भाजक थोडे वेगळे आहेत (आता robots.txt असलेले 560 डोमेन, तेव्हा 518), कारण या खेपेत फाइल मिळवण्यापूर्वी डोमेनचा रीडायरेक्ट त्याच्या मुख्य होस्टपर्यंत फॉलो केला जातो.

तुमच्या robots.txt साठी याचा अर्थ काय?

बहुतेक AI कंपन्या ट्रेनिंग आणि सर्चसाठी वेगळे क्रॉलर नोंदवतात आणि त्यांची सेटिंग्ज स्वतंत्र असल्याचे सांगतात. GPTBot नाकारल्याने OAI-SearchBot ला काही फरक पडत नाही, आणि ClaudeBot नाकारल्याने Claude-SearchBot ला काही फरक पडत नाही. ट्रेनिंगमधून बाहेर पडायचे असेल पण उद्धृत व्हायचे असेल, तर ट्रेनिंग टोकन ब्लॉक करा आणि सर्च व यूजर टोकनना परवानगी द्या. कोणतेही खासगी पाथ प्रत्येक गटात पुन्हा लिहा, कारण नाव दिलेला गट * कडून काही घेत नाही.

हे आकडे किती विश्वासार्ह आहेत?

हे होम पेजसाठीचे robots.txt नियम आहेत, एका दिवशी एका पार्सरने वाचलेले. ते फायरवॉल ब्लॉक मोजत नाहीत, जे robots.txt ने परवानगी दिलेल्या क्रॉलरलाही नाकारू शकतात. प्रत्येक साइटचा हेतू काय होता हे ते सांगू शकत नाहीत, आणि Tranco यादीत वेबसाइट नसलेले डोमेनही आहेत. सर्च क्रॉलर ब्लॉक करणारा नियम चूक असल्याचा पुरावा नाही; तो फक्त अनेकदा फरक न कळता घेतलेल्या निवडीचा पुरावा आहे. तुम्ही या पेजच्या लिंकसह हे आकडे उद्धृत करू शकता.

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

किती टक्के लोकप्रिय साइट्स AI क्रॉलर ब्लॉक करतात?

Tranco च्या पहिल्या 10,000 मधील robots.txt देणाऱ्या 6,192 डोमेनपैकी 23.2% किमान एक AI ट्रेनिंग क्रॉलर ब्लॉक करतात आणि 12.3% किमान एक AI सर्च किंवा यूजर क्रॉलर ब्लॉक करतात.

AI ट्रेनिंग ब्लॉक करणाऱ्या साइट्स AI सर्चही ब्लॉक करतात का?

अनेकदा. ट्रेनिंग क्रॉलर ब्लॉक करणाऱ्या साइट्सपैकी 51.6% किमान एक AI सर्च किंवा यूजर क्रॉलरही ब्लॉक करतात, जरी कंपन्या त्यांना स्वतंत्र सेटिंग्जसह वेगळे क्रॉलर म्हणून नोंदवतात.

कोणता AI क्रॉलर सर्वाधिक वेळा ब्लॉक केला जातो?

ट्रेनिंग क्रॉलरमध्ये Bytespider (18.7%) आणि CCBot (18.5%), त्यानंतर GPTBot (17.4%). AI सर्च क्रॉलरमध्ये PerplexityBot सर्वाधिक वेळा ब्लॉक होतो, 10.4% डोमेनवर.

तुमच्या 1,000 साइट्सच्या अहवालापेक्षा आकडे वेगळे का आहेत?

पहिल्या 1,000 डोमेनची टक्केवारी जवळजवळ तीच आहे (28.6% आणि 18.6%, तर आधी 29.9% आणि 19.5%). 10,000 साइट्सचे आकडे कमी आहेत, कारण लहान साइट्स कमी ब्लॉक करतात.

स्रोत

आणखी लेख