OpenAI के क्रॉलर: GPTBot, OAI-SearchBot और ChatGPT-User की व्याख्या

प्रकाशित 2026-11-12

एक ही कंपनी के तीन अलग user agent, हर एक का robots.txt में अपना टोकन, काफ़ी उलझन पैदा करते हैं। कई साइटों ने GPTBot आते ही उसे ब्लॉक कर दिया, और कुछ ने बाद में पाया कि उन्होंने वह क्रॉलर भी ब्लॉक कर दिया है जो तय करता है कि ChatGPT उनका हवाला दे सकता है या नहीं, अक्सर फ़ायरवॉल के किसी व्यापक नियम के कारण। यह लेख OpenAI के अपने दस्तावेज़ों के आधार पर हर एजेंट को समझाता है।

GPTBot क्या करता है?

GPTBot ऐसा कंटेंट क्रॉल करता है जो OpenAI के जनरेटिव AI फ़ाउंडेशन मॉडल की ट्रेनिंग में इस्तेमाल हो सकता है। OpenAI के दस्तावेज़ कहते हैं कि GPTBot को disallow करना संकेत देता है कि साइट का कंटेंट उन मॉडल की ट्रेनिंग में इस्तेमाल न हो।

इसके user agent में टोकन GPTBot होता है, जैसे Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot। OpenAI बताती है कि वर्शन नंबर बदल सकता है, इसलिए पूरी स्ट्रिंग की जगह टोकन से मिलान करें। OpenAI अपनी IP रेंज openai.com/gptbot.json पर प्रकाशित करती है।

इसे allow करना है या नहीं, यह नीति का फ़ैसला है। कुछ प्रकाशक चाहते हैं कि उनका कंटेंट ट्रेनिंग डेटा में हो, कुछ नहीं। इसे ब्लॉक करने का ChatGPT सर्च पर असर नहीं पड़ता, क्योंकि वह अलग क्रॉलर है। बाद में राय बदले तो Disallow की पंक्ति हटाना काफ़ी है; कुछ रजिस्टर करने या मांगने की ज़रूरत नहीं।

OAI-SearchBot क्या करता है?

OAI-SearchBot OpenAI का सर्च क्रॉलर है। यह वेबसाइटों को ChatGPT की सर्च सुविधाओं में सामने लाता है। OpenAI साफ़ कहती है कि जो साइटें OAI-SearchBot से बाहर रहना चुनती हैं, वे ChatGPT के सर्च उत्तरों में नहीं दिखाई जाएंगी।

अगर आप चाहते हैं कि ChatGPT आपके पेज का हवाला दे, तो यही क्रॉलर allow करना है, robots.txt में भी और फ़ायरवॉल में भी। इसकी IP रेंज openai.com/searchbot.json पर प्रकाशित हैं, जिससे फ़ायरवॉल पुष्टि कर सकता है कि अनुरोध सचमुच OpenAI से आया है।

ChatGPT-User क्या करता है?

ChatGPT-User सामान्य अर्थ में क्रॉलर नहीं है। यह तब पेज फ़ेच करता है जब कोई ChatGPT उपयोगकर्ता या Custom GPT इसके लिए कहता है, जैसे जब कोई आपका URL चैट में पेस्ट करके सारांश मांगता है। OpenAI कहती है कि इसका इस्तेमाल वेब की स्वचालित क्रॉलिंग के लिए नहीं होता।

OpenAI के दस्तावेज़ों की दो बातें यहां मायने रखती हैं। पहली, ये कार्रवाइयां उपयोगकर्ता की पहल पर होती हैं, इसलिए robots.txt के नियम लागू नहीं भी हो सकते। दूसरी, ChatGPT-User का इस्तेमाल यह तय करने में नहीं होता कि कंटेंट सर्च में दिख सकता है या नहीं। सर्च के लिए मायने रखने वाली सेटिंग OAI-SearchBot की है।

हर एक को ब्लॉक करने पर क्या होता है?

• GPTBot ब्लॉक करें: आपका कंटेंट ट्रेनिंग में इस्तेमाल न होने के रूप में चिह्नित हो जाता है। अगर OAI-SearchBot allow है, तो ChatGPT सर्च फिर भी आपको दिखा और आपका हवाला दे सकता है।
• OAI-SearchBot ब्लॉक करें: आपके पेज ChatGPT के सर्च उत्तरों में नहीं दिखेंगे। ट्रेनिंग को अलग से GPTBot नियंत्रित करता है।
• robots.txt में ChatGPT-User ब्लॉक करें: OpenAI कहती है कि इन विज़िट पर robots.txt लागू नहीं भी हो सकता, इसलिए असर की गारंटी नहीं है। फ़ायरवॉल पर ब्लॉक करने से फ़ेच रुक जाता है, और आपका लिंक पेस्ट करने वाले उपयोगकर्ताओं को कंटेंट की जगह एरर मिलता है।
• तीनों को फ़ायरवॉल पर ब्लॉक करें: ChatGPT न आपके पेज इंडेक्स कर सकता है, न फ़ेच, इसलिए उसके पास आपका उद्धृत करने लायक कुछ नहीं बचता।
• तीनों को allow करें: आपके पेज सर्च के लिए इंडेक्स हो सकते हैं, अनुरोध पर फ़ेच हो सकते हैं, और GPTBot के ज़रिए ट्रेनिंग में इस्तेमाल हो सकते हैं।

OpenAI यह भी बताती है कि जब GPTBot और OAI-SearchBot दोनों allow हों, तो वह दो बार क्रॉल करने से बचने के लिए एक क्रॉल के नतीजे दोनों उद्देश्यों के लिए इस्तेमाल कर सकती है।

OpenAI के क्रॉलरों के लिए मुझे कौन-सा robots.txt इस्तेमाल करना चाहिए?

ज़्यादातर साइटों के लिए, जो ChatGPT के उत्तरों में दिखना चाहती हैं: सर्च क्रॉलर को allow करें और ट्रेनिंग पर अलग से फ़ैसला लें। यह फ़ाइल सर्च की अनुमति देती है और ट्रेनिंग से बाहर रहती है:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

RFC 9309 का एक ब्योरा ध्यान रखें: क्रॉलर उस ग्रुप का पालन करता है जिसमें उसका नाम हो और * ग्रुप को नज़रअंदाज़ करता है। ऊपर के उदाहरण में OAI-SearchBot को /admin/ में जाने दिया जाएगा, क्योंकि उसके अपने ग्रुप में Disallow: /admin/ वाली पंक्ति नहीं है। जो पाथ निजी रखना चाहते हैं उन्हें हर नामित ग्रुप में दोहराएं। OpenAI कहती है कि सर्च के बदलाव लागू होने में लगभग 24 घंटे लग सकते हैं।

मैं कैसे पक्का करूं कि फ़ायरवॉल उन्हें अंदर आने देता है?

robots.txt सिर्फ़ आपकी नीति बताता है। हर अनुरोध को असल में क्या मिलेगा, यह फ़ायरवॉल या CDN तय करता है। हर क्रॉलर के user agent से पेज मांगें और status code तथा बॉडी साइज़ की तुलना ब्राउज़र के अनुरोध से करें। अगर क्रॉलर को 403, 429 या चैलेंज पेज मिलता है जबकि ब्राउज़र को सामान्य पेज, तो फ़ायरवॉल आपके robots.txt को ओवरराइड कर रहा है।

AISeeWhy OpenAI के तीनों एजेंटों के लिए यह तुलना एक साथ चलाता है, OAI-SearchBot और ChatGPT-User के ब्लॉक को P1 चिह्नित करता है क्योंकि इनसे हवाले जाते हैं, और ब्लॉक किए गए GPTBot को गलती नहीं बल्कि नीति का चुनाव मानकर P3 में रखता है।

अक्सर पूछे जाने वाले प्रश्न

क्या GPTBot और ChatGPT एक ही हैं?

नहीं। GPTBot ट्रेनिंग डेटा का क्रॉलर है। ChatGPT सर्च OAI-SearchBot इस्तेमाल करता है, और उपयोगकर्ताओं के कहने पर होने वाले लाइव विज़िट ChatGPT-User से आते हैं।

क्या मैं ChatGPT सर्च allow करके ट्रेनिंग ब्लॉक कर सकता हूं?

हां। robots.txt में OAI-SearchBot को allow और GPTBot को disallow करें। OpenAI दोनों सेटिंग को स्वतंत्र बताती है।

क्या मुझे OpenAI को IP एड्रेस से ब्लॉक करना चाहिए?

IP से ब्लॉक करने पर क्रॉलर आपका robots.txt नहीं पढ़ पाता और आपकी नीति बदलना मुश्किल हो जाता है। आम तौर पर बेहतर है कि नीति robots.txt में बताएं और प्रकाशित IP रेंज का इस्तेमाल OpenAI के क्रॉलर को ब्लॉक करने के लिए नहीं, सत्यापित करने के लिए करें।

पूरे user agent की जगह टोकन से मिलान क्यों करें?

OpenAI कहती है कि उसके user agent में वर्शन नंबर बदल सकता है, और उसके प्रकाशित उदाहरण स्ट्रिंग क्रॉलरों के बीच अलग-अलग हैं। GPTBot या OAI-SearchBot से मिलान करने वाले नियम अपडेट के बाद भी काम करते रहते हैं; सटीक स्ट्रिंग से मिलान करने वाले नियम चुपचाप मेल खाना बंद कर सकते हैं।

स्रोत

• OpenAI: OpenAI क्रॉलरों का अवलोकन
• RFC 9309: Robots Exclusion Protocol

और लेख

• क्या Cloudflare AI क्रॉलर ब्लॉक कर रहा है? पता लगाएं और ठीक करें
• AI क्रॉलर के लिए robots.txt: क्या allow करें, क्या ब्लॉक
• llms.txt क्या है, और क्या इसे जोड़ना ठीक रहेगा?