दहापैकी चार व्यवसाय वेबसाइट्स AI क्रॉलर्सना परत पाठवतात
अमेरिका, UK आणि फ्रान्समधील 165 व्यवसाय वेबसाइट्सच्या आमच्या ऑडिटमध्ये 38% नी किमान एका AI क्रॉलरला सर्व्हरवरच परत पाठवले, जवळजवळ नेहमी ट्रेनिंग किंवा स्क्रॅपर बॉटला. साधारण दहापैकी एका साइटने PerplexityBot किंवा OAI-SearchBot सारख्या AI सर्च क्रॉलरलाही नाकारले, आणि उल्लेख मिळवून देऊ शकणारे क्रॉलर्स तेच असतात. प्रत्येक क्रॉलरसाठी एक विनंती करून तुमची साइट तपासा.
तुम्ही ChatGPT ला तुमच्याच उत्पादनाबद्दल विचारता आणि तो एक स्पर्धक, एक रिव्ह्यू साइट आणि एक फोरम थ्रेड सांगतो. कधी हा मजकुराचा प्रश्न असतो. पण अनेकदा फायरवॉल AI क्रॉलर्सना नकार देत असतो, आणि साइट ब्राउझरमध्ये नीट चालत असल्यामुळे तुमच्या टीममधील कोणीही ते कधी पाहिलेले नसते.
या पेजवर
आम्ही काय तपासले?
आम्ही एकाच पत्त्यावरून एक पेज अनेकदा मागवतो: एकदा सामान्य ब्राउझर म्हणून, आणि मग 14 AI व सर्च क्रॉलर्सपैकी प्रत्येक म्हणून. यात OpenAI चे GPTBot, OAI-SearchBot आणि ChatGPT-User, Anthropic चे ClaudeBot आणि Claude-SearchBot, आणि Perplexity चे PerplexityBot यांचा समावेश आहे. ब्राउझरला पेज मिळाले आणि क्रॉलरला 401, 403, 406, 429, 451, 503 किंवा चॅलेंज पेज मिळाले, तर ती साइट त्या क्रॉलरला परत पाठवत आहे.
नमुना अमेरिका, UK आणि फ्रान्समधील 218 व्यवसाय वेबसाइट्सचा आहे, ज्यांचे ऑडिट 18 ते 21 नोव्हेंबर 2026 दरम्यान झाले. पूर्ण चाचणी आम्ही 165 वर चालवू शकलो. उरलेल्या 53 नी आमची साधी ब्राउझर विनंतीसुद्धा नाकारली किंवा त्यांनी उत्तर दिले नाही, म्हणून अंदाज लावण्याऐवजी आम्ही त्यांना वगळले.
आम्हाला काय आढळले?
- तपासता आलेल्या साइट्सपैकी 38% (165 पैकी 63) नी किमान एका AI क्रॉलरला परत पाठवले.
- त्या प्रत्येक साइटने किमान एका ट्रेनिंग किंवा स्क्रॅपर क्रॉलरला नाकारले.
Bytespiderला सर्व साइट्सपैकी 35% नी,ClaudeBotला 13% नी आणिGPTBotला 11% नी नाकारले. - 10% साइट्स (16) नी किमान एका AI सर्च क्रॉलरलाही नाकारले, आणि 5% (8) नी असा क्रॉलर नाकारला जो कोणी असिस्टंटला विचारले की त्याच क्षणी पेज उघडतो.
- सर्वात महत्त्वाचे सर्च क्रॉलर्स
PerplexityBot(11 साइट्स) आणिOAI-SearchBot(5 साइट्स) होते. - आम्ही तपासलेल्या कोणत्याही क्रॉलरला नाकारणाऱ्या 66 साइट्सपैकी 32 च्या मागे Cloudflare होते. आणखी 30 साठी कोणत्या फायरवॉलने उत्तर दिले ते आम्हाला सांगता आले नाही.
हे का घडते, आणि ती निवड कधी असते?
यातील बरेच काही कदाचित जाणीवपूर्वक असते. अनेक मालकांना त्यांचा मजकूर मॉडेल्सच्या ट्रेनिंगसाठी वापरला जाणे नको असते, आणि स्क्रॅपर्सना रोखणाऱ्या बॉट-संरक्षण सेटिंग्ज चालू करणे सोपे असते. ही योग्य निवड आहे.
अडचण अशी की AI कंपन्या ट्रेनिंगसाठी आणि सर्चसाठी वेगळे क्रॉलर्स चालवतात. ट्रेनिंग क्रॉलर ब्लॉक करण्यासाठी सर्च क्रॉलर ब्लॉक करण्याची गरज नसते, आणि उत्तरात तुमच्या पेजचा उल्लेख होण्यास कारणीभूत ठरू शकतो तो सर्च क्रॉलरच.
सर्वात मोठ्या साइट्स चांगल्या आहेत का?
फारसे नाही. सर्वाधिक लोकप्रिय 1,000 डोमेन्सवरील आमच्या robots.txt अहवालात, robots.txt असलेल्या साइट्सपैकी 29.9% किमान एक AI ट्रेनिंग क्रॉलर ब्लॉक करतात, आणि त्यांपैकी 63.2% किमान एक AI सर्च किंवा user क्रॉलरही ब्लॉक करतात. फक्त 11.0% ट्रेनिंग ब्लॉक करतात आणि प्रत्येक AI सर्च क्रॉलरला परवानगी देतात, आणि बहुतेकांना कदाचित हीच रचना हवी असते.
माझी स्वतःची साइट दहा मिनिटांत कशी तपासू?
yoursite.com/robots.txtउघडा. तुम्हाला महत्त्वाच्या प्रत्येक AI क्रॉलरसाठी, एखादा गट त्याचे नाव घेतो का आणि तो गट काय सांगतो ते पाहा. क्रॉलरचे नाव घेणारा गट सामान्य*गटाची जागा पूर्णपणे घेतो.- फाइल काय सांगते ते नाही, तर सर्व्हर काय करतो ते तपासा. तुमचे मुख्य पेज ब्राउझर म्हणून आणि क्रॉलर म्हणून मागवा. 403, 429,
Just a moment...शीर्षकाचे पेज, किंवा ब्राउझरपेक्षा खूप लहान प्रतिसाद, ही फायरवॉल ब्लॉकची खूण आहे. - असिस्टंटला विचारा. सर्च चालू ठेवून ChatGPT किंवा Perplexity ला तुमचे ग्राहक विचारतात तेच प्रश्न विचारा आणि तो कोणत्या साइट्सचा उल्लेख करतो ते पाहा. प्रवेश ठीक असूनही तुम्ही दिसत नसाल, तर समस्या प्रवेशाची नसून मजकुराची आहे.
हे आकडे किती विश्वासार्ह आहेत?
त्यांना जनगणना नव्हे, तर एक कल समजा. नमुना यादृच्छिक नाही: या कंपन्या जाहिरात लायब्ररी, जॉब बोर्ड आणि नकाशा लिस्टिंगमधून शोधलेल्या आहेत. आम्ही एका पत्त्यावरून user agent नुसार तपासतो, तर खरे क्रॉलर्स त्यांच्या विक्रेत्यांनी प्रसिद्ध केलेल्या पत्त्यांवरून येतात, त्यामुळे काही फायरवॉल्स खऱ्या क्रॉलर्सशी वेगळे वागतील. आणि ब्लॉक नेहमीच चूक असतो असे नाही.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
किती टक्के वेबसाइट्स AI क्रॉलर्सना ब्लॉक करतात?
तपासता आलेल्या 165 व्यवसाय वेबसाइट्सच्या आमच्या ऑडिटमध्ये 38% नी किमान एका AI क्रॉलरला सर्व्हरवर परत पाठवले, बहुतेक ट्रेनिंग आणि स्क्रॅपर बॉट्सना. सुमारे 10% नी AI सर्च क्रॉलरलाही नाकारले.
GPTBot ब्लॉक केल्याने माझी साइट ChatGPT सर्चमधून बाहेर राहते का?
नाही. OpenAI म्हणते की त्यांच्या क्रॉलर्ससाठीची प्रत्येक robots.txt सेटिंग स्वतंत्र आहे: GPTBot ट्रेनिंगशी, OAI-SearchBot ChatGPT सर्चशी संबंधित आहे. एक ब्लॉक केल्याने दुसरा ब्लॉक होत नाही.
robots.txt शिवाय साइट क्रॉलरला ब्लॉक कसा करू शकते?
फायरवॉल, CDN किंवा बॉट-संरक्षण नियम क्रॉलरला 403, 429 किंवा चॅलेंज पेज देऊ शकतो. robots.txt मध्ये हे कधीच दिसत नाही, म्हणून पेज क्रॉलर म्हणून मागवूनच ते तपासावे लागते.
क्रॉलरला परत पाठवणे नेहमीच चूक असते का?
नाही. अनेक मालकांना ट्रेनिंग क्रॉलर्स आणि स्क्रॅपर्सना दूर ठेवायचे असते. चूक तेव्हा होते जेव्हा सर्च क्रॉलर्स चुकून ब्लॉक होतात, कारण तुमच्या पेजचा उल्लेख करू शकतात ते तेच.
स्रोत
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रॉलर्सचा आढावा
- Perplexity: Perplexity क्रॉलर्स
- Cloudflare: AI क्रॉलर्स व्यवस्थापित करा (AI Crawl Control)