GPTBot
GPTBot OpenAI का क्रॉलर है, जो ऐसे कंटेंट के लिए है जिसका उपयोग उसके जनरेटिव AI फ़ाउंडेशन मॉडलों की ट्रेनिंग में हो सकता है। robots.txt में इसे डिसअलाउ करने से OpenAI को संकेत मिलता है कि आपका कंटेंट ट्रेनिंग के लिए इस्तेमाल न हो। इसे ब्लॉक करने से आप ChatGPT के सर्च जवाबों से नहीं हटते, जो OAI-SearchBot पर निर्भर हैं।
यह क्या करता है
OpenAI के अनुसार GPTBot का उपयोग उसके जनरेटिव AI फ़ाउंडेशन मॉडलों को अधिक उपयोगी और सुरक्षित बनाने के लिए होता है। यह ऐसा कंटेंट क्रॉल करता है जिसका उपयोग उन मॉडलों की ट्रेनिंग में हो सकता है, और GPTBot को डिसअलाउ करना संकेत देता है कि साइट का कंटेंट ट्रेनिंग में इस्तेमाल न हो।
इसे अनुमति देना नीति का फ़ैसला है, दृश्यता का नहीं। ChatGPT सर्च एक अलग क्रॉलर, OAI-SearchBot, का उपयोग करता है, और OpenAI इन दोनों सेटिंग को एक-दूसरे से स्वतंत्र बताती है। दोनों की अनुमति होने पर OpenAI के अनुसार वह दो बार क्रॉल करने से बचने के लिए एक क्रॉल के नतीजों का उपयोग दोनों उद्देश्यों के लिए कर सकती है।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 21.4% ने इसे ब्लॉक किया था। →
robots.txt टोकन
GPTBot
User-agent स्ट्रिंग
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotइसे अनुमति कैसे दें
User-agent: GPTBot
Allow: /इसे ब्लॉक कैसे करें
User-agent: GPTBot
Disallow: /असली विज़िट कैसे सत्यापित करें
OpenAI इस एजेंट द्वारा उपयोग की जाने वाली IP रेंज JSON फ़ाइल के रूप में प्रकाशित करती है। अनुरोध के स्रोत IP की तुलना इन रेंज से करें; जो अनुरोध खुद को GPTBot बताता है लेकिन किसी और पते से आता है, वह OpenAI का नहीं है। OpenAI के अनुसार user agent में संस्करण संख्या बदल सकती है, इसलिए पूरी स्ट्रिंग के बजाय GPTBot टोकन से मिलान करें।
जाँचें कि आपकी साइट इसे अंदर आने देती है या नहीं →
OpenAI के क्रॉलर: GPTBot, OAI-SearchBot और ChatGPT-User की व्याख्या →