क्या ChatGPT आपकी वेबसाइट देख सकता है? ऐसे जांचें
ChatGPT आपके पेज का हवाला तभी दे सकता है जब OpenAI का सर्च क्रॉलर OAI-SearchBot उसे फ़ेच कर सके और उसे वही HTML मिले जो ब्राउज़र को मिलता है। तीन बातें जांचें: आपका robots.txt OAI-SearchBot को disallow न करे, आपका फ़ायरवॉल या CDN उसे 403 या चैलेंज पेज न लौटाए, और मुख्य टेक्स्ट शुरुआती HTML में मौजूद हो।
कई साइट मालिक ChatGPT से अपने ही प्रोडक्ट के बारे में पूछते हैं, उसकी जगह किसी प्रतिस्पर्धी का हवाला देखते हैं, और सोचते हैं कि क्या ChatGPT उनकी साइट तक पहुंच भी पाता है। इस सवाल का ठोस और जांचने लायक जवाब है। OpenAI अपने क्रॉलरों के नाम और हर एक का काम प्रकाशित करती है, इसलिए आप श्रृंखला की हर कड़ी जांच सकते हैं: robots.txt के नियम, आपके सर्वर का जवाब, और उस जवाब में मौजूद कंटेंट।
इस पेज पर
- ChatGPT के उत्तरों के लिए OpenAI के कौन-से क्रॉलर मायने रखते हैं?
- ChatGPT के लिए अपना robots.txt कैसे जांचूं?
- क्या robots.txt की अनुमति के बावजूद फ़ायरवॉल ChatGPT को ब्लॉक कर सकता है?
- मैं कैसे टेस्ट करूं कि OAI-SearchBot को क्या मिलता है?
- अगर पेज लोड हो जाता है पर ChatGPT फिर भी कुछ काम का नहीं बताता, तो?
- AISeeWhy यह कैसे जांचता है?
ChatGPT के उत्तरों के लिए OpenAI के कौन-से क्रॉलर मायने रखते हैं?
OpenAI तीन एजेंट दस्तावेज़ित करती है जिनसे साइट मालिकों का आम तौर पर सामना होता है। तीनों का काम अलग है, और एक को ब्लॉक करने से बाकी ब्लॉक नहीं होते। OpenAI के अनुसार robots.txt की हर सेटिंग स्वतंत्र है।
OAI-SearchBotChatGPT की सर्च सुविधाओं के लिए पेज खोजता और इंडेक्स करता है। OpenAI कहती है कि जिन साइटों ने इससे बाहर रहना चुना है, वे ChatGPT के सर्च उत्तरों में नहीं दिखाई जाएंगी। हवाला मिल सकता है या नहीं, यह यही क्रॉलर तय करता है।GPTBotऐसा कंटेंट इकट्ठा करता है जो OpenAI के फ़ाउंडेशन मॉडल की ट्रेनिंग में इस्तेमाल हो सकता है। इसे disallow करने का मतलब है कि आपका कंटेंट ट्रेनिंग में इस्तेमाल न हो। इससे आप सर्च उत्तरों से नहीं हटते।ChatGPT-Userतब पेज खोलता है जब कोई व्यक्ति ChatGPT से कहता है, जैसे लिंक पेस्ट करके। OpenAI कहती है कि उपयोगकर्ता की पहल पर होने वाले इन विज़िट पर robots.txt के नियम लागू नहीं भी हो सकते, और यह एजेंट इस फ़ैसले में इस्तेमाल नहीं होता कि कंटेंट सर्च में दिखेगा या नहीं।
यानी संक्षेप में: OAI-SearchBot हवालों को नियंत्रित करता है, GPTBot ट्रेनिंग को, और ChatGPT-User उपयोगकर्ता के अनुरोध पर होने वाले लाइव विज़िट को संभालता है।
ChatGPT के लिए अपना robots.txt कैसे जांचूं?
ब्राउज़र में https://yourdomain.com/robots.txt खोलें। ऐसा ग्रुप देखें जिसमें OAI-SearchBot का नाम हो। अगर कोई नहीं है, तो क्रॉलर User-agent: * वाले ग्रुप का पालन करता है। लागू होने वाले ग्रुप में Disallow: / पूरी साइट को ब्लॉक कर देता है।
यह भी देखें कि फ़ाइल जवाब देती भी है या नहीं। RFC 9309 के अनुसार, अगर robots.txt सर्वर एरर (5xx) लौटाए या पहुंच से बाहर हो, तो क्रॉलर को मान लेना चाहिए कि पूरी साइट disallow है। 404 ठीक है: इसका मतलब है कि कोई नियम नहीं हैं। robots.txt का पता status 200 के साथ HTML पेज लौटाए, यह एक आम गलती है, क्योंकि तब क्रॉलर को उसमें कोई मान्य नियम नहीं मिलता।
ChatGPT सर्च को चालू रखने और ट्रेनिंग से बाहर रहने वाला सेटअप ऐसा दिखता है:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /OpenAI कहती है कि robots.txt अपडेट करने के बाद सर्च से जुड़े बदलाव लागू होने में लगभग 24 घंटे लग सकते हैं।
क्या robots.txt की अनुमति के बावजूद फ़ायरवॉल ChatGPT को ब्लॉक कर सकता है?
हां, और यह एक आम वजह है। robots.txt सभ्य क्रॉलरों से किया गया अनुरोध है, एक्सेस कंट्रोल नहीं। असल में क्या लौटाया जाएगा, यह आपका फ़ायरवॉल, CDN या बॉट प्रोटेक्शन तय करता है। अगर वह किसी AI क्रॉलर को अनचाहा बॉट मान ले, तो क्रॉलर को 403, 429 या Cloudflare की «Just a moment...» जैसी चैलेंज स्क्रीन मिलती है, जबकि ब्राउज़र में लोगों को पेज सामान्य दिखता है।
बाहर से यह ऐसी साइट लगती है जो सबके लिए खुली है। फ़र्क़ सिर्फ़ वही अनुरोध दिखाता है जो खुद को क्रॉलर बताता है। तब robots.txt हां कहता है, सर्वर ना कहता है, और सर्वर की बात चलती है।
मैं कैसे टेस्ट करूं कि OAI-SearchBot को क्या मिलता है?
एक ही URL पर दो अनुरोध भेजें, एक ब्राउज़र user agent के साथ और एक क्रॉलर के user agent के साथ, और status code तथा साइज़ की तुलना करें। OpenAI हर क्रॉलर का एक उदाहरण user agent प्रकाशित करती है; उसमें वर्शन नंबर बदल सकता है।
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/pageअगर ब्राउज़र को बड़े कंटेंट के साथ 200 मिलता है और क्रॉलर को 403, 429, 503 या बहुत छोटा कंटेंट मिलता है, तो आपका फ़ायरवॉल क्रॉलर के साथ अलग बर्ताव कर रहा है। एक सीमा है: आपका टेस्ट आपके अपने IP एड्रेस से आता है, OpenAI के नहीं। जो फ़ायरवॉल क्रॉलर को प्रकाशित IP रेंज से मिलाकर जांचते हैं (OpenAI इन्हें openai.com/searchbot.json पर सूचीबद्ध करती है), वे असली क्रॉलर को अंदर आने दे सकते हैं और आपके टेस्ट को रोक सकते हैं। फिर भी इस टेस्ट में ब्लॉक दिखना बताता है कि फ़ायरवॉल user agent के साथ कैसा बर्ताव करता है, जिसे ठीक करना ज़रूरी है।
अगर पेज लोड हो जाता है पर ChatGPT फिर भी कुछ काम का नहीं बताता, तो?
पहुंच केवल पहला कदम है। अगर जो HTML पहुंचता है वह खाली ढांचा है जिसे JavaScript बाद में भरती है, तो क्रॉलर को लगभग कोई टेक्स्ट नहीं मिल सकता। curl या ब्राउज़र के view-source से कच्चा HTML देखें: अगर मुख्य टेक्स्ट वहां नहीं है, तो क्रॉलर को भी शायद नहीं दिखता।
इसके बाद कंटेंट के संकेत आते हैं: पेज के ऊपर की ओर साफ़ संक्षिप्त उत्तर, ऐसे हेडिंग जो लोगों के पूछे सवालों से मेल खाएं, नाम के साथ प्रकाशक और लेखक, और दिखने वाली तारीख़ें। ये हवाले की गारंटी नहीं देते, पर पेज को सही ढंग से उद्धृत करना आसान बनाते हैं।
AISeeWhy यह कैसे जांचता है?
AISeeWhy आपका पेज OAI-SearchBot, GPTBot, ChatGPT-User और 11 अन्य क्रॉलर के रूप में, एक सामान्य ब्राउज़र के साथ फ़ेच करता है, RFC 9309 के नियमों से आपका robots.txt पढ़ता है, और जब कोई फ़ायरवॉल ब्लॉक या चैलेंज से जवाब देता है तो उसका नाम बताता है। हर निष्कर्ष के साथ पेस्ट करने लायक सुधार आता है, और मुफ़्त जांच में आपका स्कोर और पहला निष्कर्ष दिखता है।
अक्सर पूछे जाने वाले प्रश्न
क्या GPTBot ब्लॉक करने से मेरी साइट ChatGPT सर्च से हट जाती है?
नहीं। OpenAI हर क्रॉलर की सेटिंग को स्वतंत्र मानती है। GPTBot ट्रेनिंग से जुड़ा है, जबकि OAI-SearchBot तय करता है कि पेज ChatGPT के सर्च उत्तरों में दिख सकते हैं या नहीं। आप एक को disallow और दूसरे को allow कर सकते हैं।
क्या ChatGPT-User robots.txt का पालन करता है?
OpenAI कहती है कि ये विज़िट उपयोगकर्ता की पहल पर होते हैं, इसलिए robots.txt के नियम लागू नहीं भी हो सकते। अगर आप इन विज़िट को रोकना चाहते हैं, तो robots.txt का नियम भरोसेमंद नियंत्रण नहीं है।
robots.txt का बदलाव ChatGPT तक पहुंचने में कितना समय लगता है?
OpenAI कहती है कि robots.txt अपडेट के बाद उसके सिस्टम को सर्च के लिए खुद को समायोजित करने में लगभग 24 घंटे लग सकते हैं।
क्या पहुंच-योग्य होना ही हवाले के लिए काफ़ी है?
नहीं। पहुंच हवाले को संभव बनाती है, उसकी गारंटी नहीं देती। पेज क्या कहता है, और कितनी स्पष्टता से कहता है, यही तय करता है कि उसका उत्तर में उपयोग होगा या नहीं।
स्रोत
- OpenAI: OpenAI क्रॉलरों का अवलोकन
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI क्रॉलर का प्रबंधन (AI Crawl Control)