GPTBot
GPTBot OpenAI को क्रलर हो, जसले यसका जेनेरेटिभ AI foundation मोडलको ट्रेनिङमा प्रयोग हुन सक्ने सामग्री सङ्कलन गर्छ। robots.txt मा यसलाई निषेध गर्दा OpenAI लाई तपाईंको सामग्री ट्रेनिङमा प्रयोग नगर्न भनिन्छ। यसलाई ब्लक गर्दा तपाईं ChatGPT सर्चका उत्तरबाट हट्नुहुन्न, जुन OAI-SearchBot मा निर्भर हुन्छन्।
यसलाई कसरी अनुमति दिने
User-agent: GPTBot
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: GPTBot
Disallow: / यसले के गर्छ
OpenAI भन्छ, GPTBot यसका जेनेरेटिभ AI foundation मोडललाई बढी उपयोगी र सुरक्षित बनाउन प्रयोग हुन्छ। यसले ती मोडलको ट्रेनिङमा प्रयोग हुन सक्ने सामग्री क्रल गर्छ, र GPTBot लाई निषेध गर्नुले साइटको सामग्री ट्रेनिङमा प्रयोग नहोस् भन्ने जनाउँछ।
यसलाई अनुमति दिने कि नदिने भन्ने नीतिको निर्णय हो, देखिने कुराको होइन। ChatGPT सर्चले छुट्टै क्रलर, OAI-SearchBot, प्रयोग गर्छ, र OpenAI ले यी दुई सेटिङलाई स्वतन्त्र भनी दस्तावेज गरेको छ। दुवैलाई अनुमति हुँदा दुई पटक क्रल नगर्न OpenAI ले एउटा क्रलको नतिजा दुवै उद्देश्यका लागि प्रयोग गर्न सक्ने बताउँछ।
हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 21.4% ले यसलाई ब्लक गरेका थिए। →
robots.txt टोकन
GPTBot
User-agent string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot वास्तविक भ्रमण कसरी प्रमाणित गर्ने
OpenAI ले यो एजेन्टले प्रयोग गर्ने IP दायरा JSON फाइलका रूपमा प्रकाशित गर्छ। अनुरोधको स्रोत IP लाई ती दायरासँग मिलाउनुहोस्; GPTBot को नाम लिने तर अर्को ठेगानाबाट आउने अनुरोध OpenAI बाट होइन। user agent को संस्करण नम्बर बदलिन सक्ने OpenAI ले जनाएको छ, त्यसैले पूरा string होइन, GPTBot टोकन मिलाउनुहोस्।
तपाईंको साइटले यसलाई भित्र आउन दिन्छ कि जाँच्नुहोस् →
OpenAI का क्रलर: GPTBot, OAI-SearchBot र ChatGPT-User को व्याख्या →