ChatGPT ला माझी वेबसाइट दिसते का? कसे तपासावे
तुमचे पेज पेस्ट करा आणि सुमारे 30 सेकंदांत पाहा की ChatGPT चे क्रॉलर त्यापर्यंत पोहोचू शकतात, ते वाचू शकतात आणि त्याचा संदर्भ देऊ शकतात का, आणि नसल्यास काय बदलावे.
मोफत · साइन-अप नाही · 30 सेकंदांत निकाल
robots.txt, क्रॉलरनुसार
OAI-SearchBot, ChatGPT-User आणि GPTBot RFC 9309 च्या नियमांनुसार वेगवेगळे वाचले जातात, त्यामुळे कोणता परवानगीयोग्य आहे आणि कोणती ओळ निर्णय ठरवते ते दिसते.
फायरवॉल आणि CDN ब्लॉक
तुमचे पेज 14 क्रॉलर म्हणून आणि सामान्य ब्राउझर म्हणून मागवले जाते. फक्त क्रॉलरना मिळणारा 403, 429 किंवा चॅलेंज पेज चिन्हांकित केला जातो आणि त्यामागील फायरवॉलचे नाव दिले जाते.
क्रॉलरला प्रत्यक्षात काय मिळते
प्रत्येक क्रॉलरसाठी स्टेटस, आकार आणि रिडायरेक्ट यांची ब्राउझरला मिळणाऱ्या गोष्टींशी तुलना केली जाते, त्यामुळे लोकांना देते त्यापेक्षा कमी क्रॉलरना देणारे पेज उठून दिसते.
प्रत्येक निष्कर्षासाठी उपाय
प्रत्येक निष्कर्षासोबत करायचा बदल दिला जातो. मोफत तपासणीत तुमचा स्कोअर आणि पहिला निष्कर्ष दिसतो; पूर्ण अहवाल $29 आहे, एकदाच.
OpenAI चा सर्च क्रॉलर OAI-SearchBot तुमचे पेज मिळवू शकत असेल आणि त्याला ब्राउझरसारखेच HTML मिळत असेल तरच ChatGPT तुमच्या पेजचा संदर्भ देऊ शकते. तीन गोष्टी तपासा: तुमची robots.txt OAI-SearchBot ला नाकारत नाही, तुमचा फायरवॉल किंवा CDN त्याला 403 किंवा चॅलेंज पेज देत नाही, आणि मुख्य मजकूर सुरुवातीच्या HTML मध्ये आहे. वाचता येणे म्हणजे शिफारस होणे नव्हे: ChatGPT तुमच्या साइटचे नाव घेते का हे पाहण्यासाठी तुमचे खरेदीदार विचारतात ते प्रश्न त्याला विचारा आणि ते कोणत्या साइट उद्धृत करते ते नोंदवा.
स्वतः तपासा, 3 पायऱ्यांत
- तुमची robots.txt वाचा
https://your-site.com/robots.txtउघडा.OAI-SearchBot,ChatGPT-UserकिंवाUser-agent: *यापैकी कोणत्याही गटाने ते पेज नाकारू नये.GPTBotफक्त ट्रेनिंगसाठी महत्त्वाचा आहे. - क्रॉलरला काय मिळते ते तपासा
पेज
OAI-SearchBotम्हणून मागवा, किंवा मोफत तपासणी चालवा. त्याने ब्राउझरला मिळणाऱ्या मजकुरासहच 200 द्यायला हवे, 403 किंवा चॅलेंज पेज नको. - ChatGPT ला विचारा
सर्च चालू ठेवून तुमची URL सारांशित करायला आणि तुमचे खरेदीदार विचारतात त्यापैकी एका प्रश्नाचे उत्तर द्यायला सांगा, मग त्याने दिलेले स्रोत पाहा. प्रवेश ठीक असूनही तुम्ही दिसत नसाल तर कारण मजकूरात आहे.
वारंवार विचारले जाणारे प्रश्न
ChatGPT ला माझी साइट दिसते का हे मी मोफत तपासू शकतो का?
हो. तुमची robots.txt वाचणे, OAI-SearchBot युजर एजंटसह curl विनंती आणि ChatGPT ला प्रश्न विचारणे यांना काहीही खर्च येत नाही. AISeeWhy ची मोफत तपासणी खात्याशिवाय दिवसाला एका पेजसाठी क्रॉलर चाचण्या चालवते.
ChatGPT माझ्या साइटची शिफारस करते का हे कसे तपासावे?
सर्च चालू ठेवून ChatGPT ला तुमचे खरेदीदार विचारतात ते प्रश्न विचारा, आणि ते तुमच्या साइटचे नाव घेते किंवा लिंक देते का आणि त्याऐवजी कोणत्या स्पर्धकांची नावे घेते ते नोंदवा. उत्तरे प्रत्येक रनमध्ये बदलतात, त्यामुळे प्रत्येक प्रश्न पुन्हा विचारा आणि काही आठवडे पुन्हा तपासा. AISeeWhy ची AI मधील दृश्यमानता तपासणी तुमच्या स्वतःच्या API कींसह ChatGPT, Claude, Perplexity आणि Gemini मधून तुमचे प्रश्न चालवते आणि जास्तीत जास्त चार स्पर्धकांच्या बाजूला उल्लेख ट्रॅक करते. API मधून आलेली उत्तरे ChatGPT ॲप दाखवते त्यापेक्षा वेगळी असू शकतात.
ChatGPT ला माझी साइट का सापडत नाही?
बहुतेकदा robots.txt मध्ये OAI-SearchBot नाकारलेला असतो, फायरवॉल त्याला 403 किंवा चॅलेंज पेज देतो, किंवा मजकूर JavaScript चालल्यानंतरच दिसतो. तिन्ही ठीक असतील तर ChatGPT उद्धृत करते त्या पेजेसपेक्षा तुमचे पेज प्रश्नाचे कमी थेट उत्तर देत असू शकते.
GPTBot ब्लॉक केल्याने माझी साइट ChatGPT सर्चमधून निघून जाते का?
नाही. OpenAI प्रत्येक क्रॉलर सेटिंग स्वतंत्र मानते. GPTBot ट्रेनिंगशी संबंधित आहे, तर पेजेस ChatGPT सर्च उत्तरांमध्ये दाखवता येतील का हे OAI-SearchBot ठरवतो. तुम्ही एकाला नाकारून दुसऱ्याला परवानगी देऊ शकता.
ChatGPT-User robots.txt पाळतो का?
OpenAI सांगते की या भेटी युजरने सुरू केलेल्या असल्यामुळे robots.txt नियम लागू होतीलच असे नाही. त्या भेटी थांबवायच्या असल्यास robots.txt नियम हे विश्वासार्ह नियंत्रण नाही.
robots.txt मधील बदल ChatGPT पर्यंत पोहोचायला किती वेळ लागतो?
OpenAI सांगते की robots.txt अपडेटनंतर त्याच्या सिस्टमला सर्चसाठी जुळवून घेण्यास सुमारे 24 तास लागू शकतात.
पोहोचता येणे संदर्भासाठी पुरेसे आहे का?
नाही. ॲक्सेसमुळे संदर्भ शक्य होतो; त्याची हमी मिळत नाही. पेज काय सांगते आणि किती स्पष्टपणे सांगते, यावरच ते उत्तरात वापरले जाते की नाही हे ठरते.
संपूर्ण मार्गदर्शक वाचा
अनेक साइट मालक ChatGPT ला त्यांच्या स्वतःच्या उत्पादनाबद्दल विचारतात, त्याऐवजी स्पर्धकाचा संदर्भ दिलेला पाहतात, आणि ChatGPT ला त्यांची साइट दिसतच नाही का असा प्रश्न त्यांना पडतो. या प्रश्नाचे ठोस, तपासता येणारे उत्तर आहे. OpenAI त्याच्या क्रॉलरची नावे आणि प्रत्येक काय करतो ते प्रकाशित करते, त्यामुळे तुम्ही साखळीतील प्रत्येक दुवा तपासू शकता: robots.txt चे नियम, तुमचा सर्व्हर पाठवत असलेला प्रतिसाद, आणि त्या प्रतिसादातील मजकूर.
5 मिनिटांची तपासणी, पायरी-पायरीने
https://your-site.com/robots.txtउघडा आणिOAI-SearchBot,ChatGPT-UserकिंवाUser-agent: *साठीचा कोणताही गट पेजला नाकारत नाही याची खात्री करा.GPTBotफक्त ट्रेनिंगसाठी महत्त्वाचा आहे.- AISeeWhy वर पेजची मोफत तपासणी चालवा किंवा
OAI-SearchBotयुजर एजंटसह एक विनंती पाठवा: त्याला स्टेटस 200 आणि ब्राउझरला मिळतो तोच मजकूर मिळायला हवा, 403 किंवा चॅलेंज पेज नाही. - पेजचा सोर्स पाहा आणि मुख्य मजकूर HTML मध्ये आहे, नंतर JavaScript ने जोडलेला नाही याची खात्री करा.
- सर्च चालू ठेवून ChatGPT ला तुमच्या URL चा सारांश द्यायला आणि तुमचे खरेदीदार विचारतात त्या एका प्रश्नाचे उत्तर द्यायला सांगा. ते दाखवत असलेले स्रोत पाहा.
पायरी 1 किंवा 2 अयशस्वी झाल्यास आधी ते दुरुस्त करा: खालील विभाग ते कसे करायचे ते दाखवतात. चारही पायऱ्या यशस्वी झाल्या आणि तरीही ChatGPT तुमचा संदर्भ देत नसेल, तर कारण मजकूर आहे, ॲक्सेस नाही.
ChatGPT च्या उत्तरांसाठी OpenAI चे कोणते क्रॉलर महत्त्वाचे आहेत?
OpenAI साइट मालकांना सहसा भेटणाऱ्या तीन एजंटचे दस्तऐवज देते. त्यांची कामे वेगळी आहेत, आणि एकाला ब्लॉक केल्याने इतर ब्लॉक होत नाहीत. OpenAI सांगते की प्रत्येक robots.txt सेटिंग स्वतंत्र आहे.
OAI-SearchBotChatGPT च्या सर्च फीचरसाठी पेजेस शोधतो आणि इंडेक्स करतो. OpenAI सांगते की त्यातून बाहेर पडलेल्या साइट ChatGPT सर्च उत्तरांमध्ये दाखवल्या जाणार नाहीत. तुमचा संदर्भ दिला जाऊ शकतो की नाही हे हाच ठरवतो.GPTBotअसा मजकूर गोळा करतो जो OpenAI च्या फाउंडेशन मॉडेलच्या ट्रेनिंगसाठी वापरला जाऊ शकतो. त्याला नाकारल्याने तुमचा मजकूर ट्रेनिंगसाठी वापरू नये असे सांगितले जाते. त्याने तुम्ही सर्च उत्तरांमधून बाहेर पडत नाही.ChatGPT-Userएखादी व्यक्ती ChatGPT ला सांगते तेव्हा पेजला भेट देतो, उदाहरणार्थ लिंक पेस्ट करून. OpenAI सांगते की युजरने सुरू केलेल्या या भेटींना robots.txt नियम लागू होतीलच असे नाही, आणि मजकूर सर्चमध्ये दिसेल का हे ठरवण्यासाठी हा एजंट वापरला जात नाही.
थोडक्यात: OAI-SearchBot संदर्भ नियंत्रित करतो, GPTBot ट्रेनिंग नियंत्रित करतो, आणि ChatGPT-User युजरच्या विनंतीवरील लाइव्ह भेटी हाताळतो.
ChatGPT साठी माझी robots.txt कशी तपासावी?
ब्राउझरमध्ये https://yourdomain.com/robots.txt उघडा. OAI-SearchBot चे नाव असलेला गट शोधा. तसा गट नसल्यास क्रॉलर User-agent: * गटाचे पालन करतो. जो गट लागू होतो त्यातील Disallow: / संपूर्ण साइट ब्लॉक करते.
फाइल मुळात उत्तर देते का हेही तपासा. RFC 9309 नुसार robots.txt सर्व्हर एरर (5xx) देत असल्यास किंवा पोहोचता येत नसल्यास, क्रॉलरने संपूर्ण साइट नाकारलेली मानली पाहिजे. 404 चालते: त्याचा अर्थ कोणतेही नियम नाहीत. स्टेटस 200 सह HTML पेज देणारा robots.txt पत्ता ही सामान्य चूक आहे, कारण मग क्रॉलरना त्यात कोणतेही वैध नियम सापडत नाहीत.
ChatGPT सर्च ठेवणारी आणि ट्रेनिंगमधून बाहेर पडणारी रचना अशी दिसते:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / OpenAI सांगते की robots.txt अपडेट केल्यानंतर सर्चसाठीचे बदल लागू होण्यास सुमारे 24 तास लागू शकतात.
robots.txt परवानगी देत असतानाही फायरवॉल ChatGPT ला ब्लॉक करू शकतो का?
होय, आणि हे सामान्य कारण आहे. robots.txt ही शिस्तीत वागणाऱ्या क्रॉलरना केलेली विनंती आहे, ॲक्सेस नियंत्रण नाही. प्रत्यक्षात काय परत पाठवले जाते ते तुमचा फायरवॉल, CDN किंवा बॉट संरक्षण ठरवते. ते AI क्रॉलरला नको असलेला बॉट मानत असल्यास, क्रॉलरला 403, 429 किंवा Cloudflare च्या "Just a moment..." स्क्रीनसारखे चॅलेंज पेज मिळते, तर ब्राउझरमधील लोकांना पेज नेहमीसारखे दिसते.
बाहेरून ही साइट सर्वांसाठी खुली असल्यासारखी दिसते. स्वतःची ओळख क्रॉलर म्हणून देणारी विनंतीच हा फरक दाखवते. अशा वेळी robots.txt हो म्हणते, सर्व्हर नाही म्हणतो, आणि सर्व्हरचेच चालते.
OAI-SearchBot ला काय मिळते ते कसे तपासावे?
एकाच URL ला दोन विनंत्या पाठवा, एक ब्राउझरच्या युजर एजंटसह आणि एक क्रॉलरच्या युजर एजंटसह, आणि स्टेटस कोड व आकाराची तुलना करा. OpenAI प्रत्येक क्रॉलरसाठी उदाहरण युजर एजंट प्रकाशित करते; त्यातील आवृत्ती क्रमांक बदलू शकतो.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ब्राउझरला मोठ्या बॉडीसह 200 मिळत असेल आणि क्रॉलरला 403, 429, 503 किंवा खूप लहान बॉडी, तर तुमचा फायरवॉल क्रॉलरशी वेगळे वागत आहे. एक मर्यादा आहे: तुमची चाचणी OpenAI च्या नव्हे तर तुमच्या स्वतःच्या IP पत्त्यावरून होते. प्रकाशित IP रेंजनुसार क्रॉलरची पडताळणी करणारे फायरवॉल (OpenAI त्या openai.com/searchbot.json वर देते) खऱ्या क्रॉलरला आत येऊ देऊन तुमची चाचणी ब्लॉक करू शकतात. तरीही या चाचणीतील ब्लॉक फायरवॉल युजर एजंटशी कसे वागतो ते सांगतो, आणि ते दुरुस्त करण्यासारखे आहे.
पेज लोड होते पण ChatGPT तरीही काही उपयोगी सांगत नसेल तर?
ॲक्सेस ही फक्त पहिली पायरी आहे. पोहोचणारे HTML नंतर JavaScript ने भरले जाणारे रिकामे साचे असल्यास, क्रॉलरला जवळजवळ कोणताही मजकूर मिळत नाही. curl ने किंवा ब्राउझरच्या view-source ने कच्चे HTML पाहा: मुख्य मजकूर तिथे नसल्यास, क्रॉलरलाही तो बहुधा दिसत नाही.
त्यानंतर मजकुराचे संकेत येतात: पेजच्या वरच्या भागात स्पष्ट छोटे उत्तर, लोक विचारतात त्या प्रश्नांशी जुळणारी शीर्षके, नाव असलेला प्रकाशक आणि लेखक, आणि दिसणाऱ्या तारखा. यांनी संदर्भाची हमी मिळत नाही, पण पेज अचूकपणे उद्धृत करणे सोपे होते.
AISeeWhy हे कसे तपासते?
AISeeWhy तुमचे पेज सामान्य ब्राउझरच्या बरोबरीने OAI-SearchBot, GPTBot, ChatGPT-User आणि इतर 11 क्रॉलर म्हणून मिळवते, तुमची robots.txt RFC 9309 नियमांनुसार वाचते आणि एखादा फायरवॉल ब्लॉक किंवा चॅलेंज देत असल्यास त्याचे नाव सांगते. प्रत्येक निष्कर्षासोबत पेस्ट करण्यासाठी उपाय असतो, आणि मोफत तपासणी तुमचा स्कोअर व पहिला निष्कर्ष दाखवते.
या समस्येवरील उपाय
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
स्रोत
- OpenAI: OpenAI क्रॉलरचे विहंगावलोकन
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI क्रॉलरचे व्यवस्थापन (AI Crawl Control)