OAI-SearchBot
OAI-SearchBot OpenAI का सर्च क्रॉलर है। यह ChatGPT की सर्च सुविधाओं में वेबसाइटों को दिखाता है। OpenAI के अनुसार जो साइटें OAI-SearchBot से ऑप्ट-आउट करती हैं, वे ChatGPT के सर्च जवाबों में नहीं दिखाई जाएँगी, हालाँकि वे नेविगेशनल लिंक के रूप में फिर भी आ सकती हैं। अगर आप चाहते हैं कि ChatGPT आपके पेज का हवाला दे, तो इसे अनुमति दें।
यह क्या करता है
OpenAI, OAI-SearchBot का उपयोग ChatGPT की सर्च सुविधाओं के नतीजों में वेबसाइटों को दिखाने के लिए करती है। यह ट्रेनिंग क्रॉलर नहीं है: मॉडल ट्रेनिंग को अलग से GPTBot के ज़रिए नियंत्रित किया जाता है।
OpenAI के अनुसार जो साइटें OAI-SearchBot से ऑप्ट-आउट करती हैं, वे ChatGPT के सर्च जवाबों में नहीं दिखाई जाएँगी, हालाँकि वे नेविगेशनल लिंक के रूप में फिर भी आ सकती हैं। robots.txt अपडेट के बाद OpenAI के सिस्टम को समायोजित होने में लगभग 24 घंटे लग सकते हैं।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 11.2% ने इसे ब्लॉक किया था। →
robots.txt टोकन
OAI-SearchBot
User-agent स्ट्रिंग
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
इसे अनुमति कैसे दें
User-agent: OAI-SearchBot
Allow: /
इसे ब्लॉक कैसे करें
User-agent: OAI-SearchBot
Disallow: /
असली विज़िट कैसे सत्यापित करें
OpenAI इस एजेंट द्वारा उपयोग की जाने वाली IP रेंज JSON फ़ाइल के रूप में प्रकाशित करती है। अनुरोध के स्रोत IP की तुलना इन रेंज से करें; जो अनुरोध खुद को OAI-SearchBot बताता है लेकिन किसी और पते से आता है, वह OpenAI का नहीं है। OpenAI के अनुसार user agent में संस्करण संख्या बदल सकती है, इसलिए पूरी स्ट्रिंग के बजाय OAI-SearchBot टोकन से मिलान करें।
जाँचें कि आपकी साइट इसे अंदर आने देती है या नहीं →
OpenAI के क्रॉलर: GPTBot, OAI-SearchBot और ChatGPT-User की व्याख्या →