वेबसाइट AI क्रॉलरना ब्लॉक करते का, हे कसे तपासावे
कोणताही पत्ता पेस्ट करा आणि GPTBot, ClaudeBot, PerplexityBot व इतर AI क्रॉलरना ती साइट ब्लॉक करते का ते पाहा: robots.txt मध्ये, फायरवॉलमध्ये, किंवा दोन्हीमध्ये.
मोफत · साइन-अप नाही · 30 सेकंदांत निकाल
कोणते क्रॉलर ब्लॉक आहेत
ट्रेनिंग, सर्च आणि युजर क्रॉलर वेगवेगळे दाखवले जातात, कारण GPTBot ब्लॉक केल्याने OAI-SearchBot ब्लॉक होत नाही आणि ClaudeBot ब्लॉक केल्याने Claude-SearchBot ब्लॉक होत नाही.
निर्णय ठरवणारी ओळ
प्रत्येक क्रॉलरसाठी robots.txt RFC 9309 च्या नियमांनुसार वाचली जाते: त्याचे नाव असलेला गट, नसल्यास पर्याय म्हणून User-agent: *, आणि जो नियम लागू होतो तो.
फायरवॉलचे नकार
पेज 14 क्रॉलर म्हणून आणि सामान्य ब्राउझर म्हणून मागवले जाते. ब्लॉक आणि चॅलेंज पेजेस चिन्हांकित केली जातात आणि उत्तर देणाऱ्या फायरवॉलचे नाव दिले जाते.
प्रत्येक निष्कर्षासाठी उपाय
प्रत्येक निष्कर्षासोबत करायचा बदल दिला जातो. मोफत तपासणीत तुमचा स्कोअर आणि पहिला निष्कर्ष दिसतो; पूर्ण अहवाल $29 आहे, एकदाच.
साइट AI क्रॉलरना दोन ठिकाणी ब्लॉक करू शकते: robots.txt मध्ये, जी क्रॉलरना दूर राहण्याची विनंती करते, आणि सर्व्हर किंवा फायरवॉलमध्ये, जो त्यांना प्रत्यक्षात नकार देतो. robots.txt मध्ये प्रत्येक क्रॉलरचा टोकन शोधा, तो नसल्यास User-agent: * पाहा, मग पेज क्रॉलर म्हणून मिळवा आणि ब्राउझरला मिळालेल्या पेजशी तुलना करा. एक ब्राउझर एक्स्टेंशन 16 AI क्रॉलरसाठी robots.txt चा भाग एका क्लिकमध्ये करते.
हाताने तपासा, 3 पायऱ्यांत
- क्रॉलर निवडा
प्रत्येक AI कंपनी वेगवेगळे क्रॉलर चालवते. ट्रेनिंग:
GPTBot,ClaudeBot. सर्च:OAI-SearchBot,Claude-SearchBot,PerplexityBot. व्यक्तीच्या विनंतीवरून:ChatGPT-User,Claude-User,Perplexity-User. - त्यासाठी robots.txt वाचा
https://example.com/robots.txtउघडा आणि क्रॉलरचे नाव असलेला गट शोधा. कोणताही गट नसेल तरUser-agent: *गट लागू होतो; दोन्ही नसतील तर सर्व काही परवानगीयोग्य असते. - क्रॉलर म्हणून पेज मिळवा
क्रॉलरच्या युजर एजंटसह पेज मागवा आणि स्टेटस व आकाराची ब्राउझरशी तुलना करा. 403, चॅलेंज पेज किंवा खूपच लहान 200 म्हणजे फायरवॉल त्याला नाकारतो.
वारंवार विचारले जाणारे प्रश्न
robots.txt नसलेली साइट AI क्रॉलरसाठी खुली असते का?
हो, robots.txt पुरते बोलायचे तर. robots.txt साठी 404 म्हणजे कोणतेही नियम नाहीत, त्यामुळे प्रत्येक क्रॉलर प्रत्येक पेज मिळवू शकतो. तरीही फायरवॉल क्रॉलरना ब्लॉक करू शकतो.
एक्स्टेंशन फायरवॉलचे ब्लॉक दाखवते का?
नाही. ते तुमच्या ब्राउझरमधून robots.txt वाचते, ज्यातून साइट क्रॉलरना काय करायला सांगते ते कळते. फायरवॉल आणि बॉट संरक्षणाचे ब्लॉक पाहण्यासाठी क्रॉलर म्हणून पाठवलेली विनंती लागते, आणि हे aiseewhy.com वरील पूर्ण तपासणी करते.
माझी नसलेली साइट मी तपासू शकतो का?
हो. robots.txt सार्वजनिक आहे, आणि एक्स्टेंशन साइटने प्रकाशित केलेल्या फक्त robots.txt आणि llms.txt फाइल वाचते, त्याच फाइल ज्या प्रत्येक क्रॉलर वाचतो.
संपूर्ण मार्गदर्शक वाचा
एखाद्या बदलानंतर तुम्ही स्वतःची साइट तपासत असाल किंवा दुसऱ्याच्या साइटवर अवलंबून राहण्यापूर्वी ती पाहत असाल, “ही साइट AI क्रॉलरना ब्लॉक करते का?” या प्रश्नाला नेमके उत्तर असते. ते तुम्ही कोणत्या क्रॉलरबद्दल बोलत आहात यावर अवलंबून असते, कारण AI कंपन्या ट्रेनिंग, सर्च आणि थेट भेटींसाठी वेगवेगळे क्रॉलर चालवतात, आणि साइट प्रत्येकाशी वेगळी वागू शकते. हे मार्गदर्शक सर्वात जलद ते सर्वात पूर्ण अशा तीन तपासण्या दाखवते.
साइट AI क्रॉलरना कुठे ब्लॉक करू शकते?
तीन स्तर असतात, आणि पेज वापरण्यासाठी क्रॉलरला तिन्ही पार करावे लागतात.
- robots.txt: नियमांची एक सार्वजनिक फाइल, जी नियम पाळणारे क्रॉलर काहीही मिळवण्यापूर्वी वाचतात. ही एक विनंती आहे, कुलूप नाही.
- सर्व्हर, CDN किंवा फायरवॉल: प्रत्यक्षात काय परत पाठवायचे हे तो ठरवतो. robots.txt परवानगी देत असली तरी बॉट संरक्षणाचा एखादा नियम क्रॉलरला 403, 429 किंवा चॅलेंज पेज देऊ शकतो.
- स्वतः पेज: मुख्य मजकूर JavaScript चालल्यानंतरच दिसत असेल, तर सुरुवातीचे HTML वाचणाऱ्या क्रॉलरला जवळजवळ रिकामे पेज मिळते, जरी त्याला कोणीही ब्लॉक केलेले नसले तरी.
बहुतेक जलद तपासण्या फक्त पहिला स्तर पाहतात. सुरुवातीसाठी ते चांगले आहे, फक्त इतर दोन स्तर लक्षात ठेवा.
एका AI क्रॉलरसाठी robots.txt कशी वाचावी?
ब्राउझरमध्ये https://example.com/robots.txt उघडा आणि त्या क्रॉलरला लागू होणारा गट शोधा. गट एक किंवा अधिक User-agent ओळींनी सुरू होतो. क्रॉलर तो गट वापरतो ज्यात त्याचा टोकन आहे, उदा. GPTBot; जुळवताना लहान-मोठ्या अक्षरांचा फरक पडत नाही. कोणत्याही गटात त्याचे नाव नसल्यास तो User-agent: * गट वापरतो. दोन्हीपैकी काहीच नसल्यास सर्व काही परवानगीत आहे.
गटामध्ये सर्वात लांब जुळणाऱ्या पाथचा नियम लागू होतो, आणि Allow आणि Disallow सारख्याच लांबीचे असल्यास Allow लागू होतो. म्हणून खालील फाइल GPTBot ला संपूर्ण साइटवरून ब्लॉक करते, पण इतर प्रत्येक क्रॉलरला आत येऊ देते:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / फाइल कसे उत्तर देते हेही पाहा. RFC 9309 नुसार 404 म्हणजे कोणतेही नियम नाहीत, त्यामुळे सर्व काही परवानगीत आहे. सर्व्हर एरर (5xx) किंवा कोणतेच उत्तर न मिळाल्यास क्रॉलरने संपूर्ण साइट नाकारलेली मानली पाहिजे. robots.txt च्या पत्त्यावर HTML पेज परत येणे ही सामान्य चूक आहे: क्रॉलरना त्यात कोणतेही वैध नियम मिळत नाहीत.
सर्व AI क्रॉलर एकाच वेळी कसे तपासावे?
एकापेक्षा जास्त क्रॉलर महत्त्वाचे असले की फाइल हाताने वाचणे संथ होते. प्रत्येक AI कंपनी वेगवेगळ्या कामांसाठी अनेक क्रॉलर चालवते:
- ट्रेनिंग क्रॉलर मॉडेल ट्रेनिंगसाठी मजकूर गोळा करतात:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, तसेचGoogle-ExtendedआणिApplebot-Extendedहे टोकन, जे फक्त robots.txt मध्ये दिसतात. - सर्च क्रॉलर पेज इंडेक्स करतात, जेणेकरून AI उत्तरे त्यांचा संदर्भ देऊ शकतील:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - युजर क्रॉलर एखाद्या व्यक्तीने असिस्टंटला सांगितल्यावर पेज मिळवतात:
ChatGPT-User,Claude-User,Perplexity-User.
Chrome साठीचे मोफत AI क्रॉलर चेकर एक्स्टेंशन हे एका क्लिकमध्ये करते. कोणतेही पेज उघडा, आयकॉनवर क्लिक करा, आणि ते त्या साइटची robots.txt वाचून 16 पैकी प्रत्येक क्रॉलरसाठी पेजला परवानगी आहे का आणि कोणती ओळ ते ठरवते हे दाखवते. ते Content-Signal प्राधान्ये, साइटवर llms.txt आहे का, आणि robots.txt मध्ये दिलेले साइटमॅपही दाखवते. ते तुमच्या ब्राउझरमध्ये चालते, खाते लागत नाही, आणि तुम्ही ज्या साइटवर क्लिक करता तीच वाचते.
Chrome नसल्यास, aiseewhy.com वरील मोफत robots.txt चेकर तुम्ही पेस्ट केलेल्या URL साठी तेच उत्तर देतो.
फायरवॉल त्यांना आत येऊ देतो का, हे कसे तपासावे?
robots.txt साइट काय मागते ते दाखवते. क्रॉलरला प्रत्यक्षात काय मिळते हे पाहण्यासाठी पेज दोनदा मागवा, एकदा ब्राउझर म्हणून आणि एकदा क्रॉलरच्या युजर एजंटसह, आणि स्टेटस कोड व उत्तराचा आकार यांची तुलना करा:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ब्राउझरला 200 मिळत असेल आणि क्रॉलरला 403, 429 किंवा 503, किंवा खूपच लहान पेज मिळत असेल, तर फायरवॉल किंवा बॉट संरक्षण क्रॉलरशी वेगळे वागत आहे. प्रत्येक बाहेरच्या तपासणीला एक मर्यादा असते: विनंती तुमच्या नेटवर्कवरून जाते, AI कंपनीच्या नेटवर्कवरून नाही. जो फायरवॉल क्रॉलरना त्यांच्या प्रकाशित IP पत्त्यांवरून ओळखून विश्वास ठेवतो, तो खऱ्या क्रॉलरशी वेगळे वागू शकतो, म्हणून शेवटचा निर्णय तुमच्या सर्व्हर लॉगचा असतो.
aiseewhy.com वरील पूर्ण तपासणी पेज खऱ्या ब्राउझरसोबतच सर्व 16 क्रॉलर म्हणून मिळवते, क्रॉलरला ब्लॉक करणाऱ्या फायरवॉलचे किंवा नियमाचे नाव सांगते, आणि प्रत्येकाला मिळालेल्या मजकुराची तुलना करते.
कोणता निकाल हवा असावा?
ते तुम्हाला काय हवे आहे यावर अवलंबून आहे. ChatGPT सर्च, Claude आणि Perplexity मध्ये तुमचा संदर्भ दिला जावा असे वाटत असल्यास, सर्च आणि युजर क्रॉलरना robots.txt मध्ये परवानगी असली पाहिजे आणि सर्व्हरकडून त्यांना खरे पेज मिळाले पाहिजे. तुमचा मजकूर ट्रेनिंगसाठी वापरला जाऊ नये असे वाटत असल्यास, फक्त ट्रेनिंग टोकन ब्लॉक करा. हे वेगवेगळे निर्णय आहेत: GPTBot ब्लॉक केल्याने OAI-SearchBot ब्लॉक होत नाही, आणि ClaudeBot ब्लॉक केल्याने Claude-SearchBot ब्लॉक होत नाही.
अनेक साइट यांची गल्लत करतात. 1,000 सर्वात लोकप्रिय डोमेनवरील आमच्या नोव्हेंबर 2026 च्या अहवालात, ट्रेनिंग क्रॉलर ब्लॉक करणाऱ्या 63% साइट किमान एक AI सर्च किंवा युजर क्रॉलरही ब्लॉक करतात, त्यामुळे त्यांची पेज त्या AI उत्तरांपासून दूर राहतात.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- llms.txt तपासणी आणि व्हॅलिडेटर
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
स्रोत
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रॉलरचे विहंगावलोकन
- Anthropic: Anthropic वेबवरून डेटा क्रॉल करते का, आणि साइट मालक क्रॉलर कसा ब्लॉक करू शकतात?
- Perplexity: Perplexity क्रॉलर
- Google: सामान्य क्रॉलर, Google-Extended सह
- AISeeWhy: AI क्रॉलर ॲक्सेस अहवाल, 2026-11