OpenAI का क्रलर: GPTBot, OAI-SearchBot र ChatGPT-User को व्याख्या
OpenAI ले आफ्ना मोडेल ट्रेन गर्न सक्ने सामग्री सङ्कलन गर्न GPTBot, ChatGPT सर्चका लागि पेज इन्डेक्स गर्न OAI-SearchBot, र मानिसले माग्ने भ्रमणका लागि ChatGPT-User प्रयोग गर्छ। GPTBot ब्लक गर्दा तपाईं ट्रेनिङबाट मात्र opt-out हुनुहुन्छ। OAI-SearchBot ब्लक गर्दा तपाईं ChatGPT सर्चका उत्तरबाट हट्नुहुन्छ। ChatGPT-User मा robots.txt लागू नहुन सक्छ।
एउटै कम्पनीका तीन फरक user agent, प्रत्येकको आफ्नै robots.txt टोकन, धेरै भ्रम सिर्जना गर्छन्। GPTBot देखा परेपछि धेरै साइटले यसलाई ब्लक गरे, र केहीले पछि थाहा पाए कि तिनले ChatGPT ले आफूलाई उद्धृत गर्न सक्ने कि नसक्ने निर्णय गर्ने क्रलर पनि ब्लक गरेका रहेछन्, प्रायः व्यापक फायरवाल नियममार्फत। यो लेखले OpenAI कै कागजातका आधारमा हरेक एजेन्ट केलाउँछ।
यस पेजमा
GPTBot ले के गर्छ?
GPTBot ले OpenAI का generative AI फाउन्डेसन मोडेल ट्रेन गर्न प्रयोग हुन सक्ने सामग्री क्रल गर्छ। OpenAI को कागजात भन्छ, GPTBot निषेध गर्नुले साइटको सामग्री ती मोडेलको ट्रेनिङमा प्रयोग नहोस् भन्ने सङ्केत दिन्छ।
यसको user agent मा GPTBot टोकन हुन्छ, जस्तै Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot। OpenAI भन्छ संस्करण नम्बर बदलिन सक्छ, त्यसैले पूरै string होइन, टोकन मिलाउनुहोस्। OpenAI ले यसका IP दायरा openai.com/gptbot.json मा प्रकाशित गर्छ।
यसलाई अनुमति दिने कि नदिने नीतिगत निर्णय हो। केही प्रकाशक आफ्नो सामग्री ट्रेनिङ डेटामा चाहन्छन्, अरू चाहँदैनन्। यसलाई ब्लक गर्दा ChatGPT सर्चमा असर पर्दैन, किनभने त्यो फरक क्रलर हो। पछि विचार बदल्नुभयो भने Disallow लाइन हटाए पुग्छ; दर्ता वा अनुरोध गर्नुपर्ने केही छैन।
OAI-SearchBot ले के गर्छ?
OAI-SearchBot OpenAI को सर्च क्रलर हो। यसले ChatGPT का सर्च सुविधामा वेबसाइट देखाउँछ। OpenAI स्पष्ट भन्छ, OAI-SearchBot बाट opt-out गरेका साइट ChatGPT सर्चका उत्तरमा देखाइने छैनन्।
ChatGPT ले तपाईंका पेज उद्धृत गरोस् भन्ने चाहनुहुन्छ भने अनुमति दिनुपर्ने क्रलर यही हो, robots.txt र फायरवाल दुवैमा। यसका IP दायरा openai.com/searchbot.json मा प्रकाशित छन्, जसले फायरवाललाई अनुरोध साँच्चै OpenAI बाटै आएको प्रमाणित गर्न दिन्छ।
ChatGPT-User ले के गर्छ?
ChatGPT-User सामान्य अर्थमा क्रलर होइन। ChatGPT प्रयोगकर्ता वा Custom GPT ले माग्दा यसले पेज ल्याउँछ, जस्तै कसैले तपाईंको URL च्याटमा टाँसेर सारांश माग्दा। OpenAI भन्छ यो वेबको स्वचालित क्रलिङका लागि प्रयोग हुँदैन।
यहाँ OpenAI को कागजातका दुई कुरा महत्त्वपूर्ण छन्। पहिलो, यी कार्य प्रयोगकर्ताले सुरु गर्ने भएकाले robots.txt का नियम लागू नहुन सक्छन्। दोस्रो, सामग्री सर्चमा देखिन सक्छ कि सक्दैन भन्ने निर्धारण गर्न ChatGPT-User प्रयोग हुँदैन। सर्चका लागि गनिने सेटिङ OAI-SearchBot हो।
प्रत्येकलाई ब्लक गर्दा के हुन्छ?
GPTBotब्लक गर्दा: तपाईंको सामग्री ट्रेनिङमा प्रयोग नगर्ने भनेर चिह्नित हुन्छ।OAI-SearchBotलाई अनुमति छ भने ChatGPT सर्चले अझै तपाईंलाई देखाउन र उद्धृत गर्न सक्छ।OAI-SearchBotब्लक गर्दा: तपाईंका पेज ChatGPT सर्चका उत्तरमा देखाइने छैनन्। ट्रेनिङGPTBotले छुट्टै नियन्त्रण गर्छ।- robots.txt मा
ChatGPT-Userब्लक गर्दा: OpenAI भन्छ यी भ्रमणमा robots.txt लागू नहुन सक्छ, त्यसैले प्रभावको ग्यारेन्टी छैन। फायरवालमा ब्लक गर्दा ल्याउने काम रोकिन्छ, र तपाईंको लिंक टाँस्ने प्रयोगकर्ताले तपाईंको सामग्रीको सट्टा त्रुटि पाउँछन्। - तीनवटै फायरवालमा ब्लक गर्दा: ChatGPT ले तपाईंका पेज न इन्डेक्स गर्न सक्छ न ल्याउन, त्यसैले उद्धृत गर्न यससँग तपाईंको केही हुँदैन।
- तीनवटैलाई अनुमति दिँदा: तपाईंका पेज सर्चका लागि इन्डेक्स हुन, अनुरोधमा ल्याइन र
GPTBotमार्फत ट्रेनिङमा प्रयोग हुन सक्छन्।
OpenAI यो पनि भन्छ, GPTBot र OAI-SearchBot दुवैलाई अनुमति हुँदा दुईपटक क्रल नगर्न यसले एउटा क्रलको नतिजा दुवै उद्देश्यका लागि प्रयोग गर्न सक्छ।
OpenAI का क्रलरका लागि कुन robots.txt प्रयोग गर्ने?
ChatGPT का उत्तरमा देखिन चाहने धेरैजसो साइटका लागि सर्च क्रलरलाई अनुमति दिनुहोस् र ट्रेनिङबारे छुट्टै निर्णय गर्नुहोस्। यो फाइलले सर्चलाई अनुमति दिन्छ र ट्रेनिङबाट opt-out गर्छ:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309 को एउटा कुरा ध्यान दिनुहोस्: क्रलरले आफ्नो नाम भएको समूह पालना गर्छ र * समूह बेवास्ता गर्छ। माथिको उदाहरणमा OAI-SearchBot लाई /admin/ मा अनुमति हुन्थ्यो, किनभने यसको आफ्नै समूहमा Disallow: /admin/ लाइन छैन। निजी राख्न चाहेका path हरेक नाम तोकिएको समूहमा दोहोर्याउनुहोस्। OpenAI भन्छ सर्चका परिवर्तन लागू हुन करिब 24 घण्टा लाग्न सक्छ।
फायरवालले तिनलाई पास गर्छ भनी कसरी पक्का गर्ने?
robots.txt ले तपाईंको नीति मात्र बताउँछ। हरेक अनुरोधले वास्तवमा के पाउँछ भन्ने फायरवाल वा CDN ले निर्णय गर्छ। हरेक क्रलरको user agent सहित पेज माग्नुहोस् र स्थिति कोड र body को आकार ब्राउजरको अनुरोधसँग तुलना गर्नुहोस्। क्रलरलाई 403, 429 वा च्यालेन्ज पेज र ब्राउजरलाई सामान्य पेज भनेको फायरवालले तपाईंको robots.txt लाई उल्ट्याउँछ।
AISeeWhy ले OpenAI का तीनवटै एजेन्टका लागि यो तुलना एकैपटक चलाउँछ, OAI-SearchBot र ChatGPT-User का ब्लकलाई उद्धरण गुमाउने भएकाले P1 चिह्न लगाउँछ, र ब्लक भएको GPTBot लाई त्रुटि होइन, P3 नीतिगत छनोटका रूपमा सूचीबद्ध गर्छ।
यो समस्याका समाधान
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
OpenAI का क्रलरका user agent string के हुन्?
OpenAI को दस्तावेजले GPTBot का लागि Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot का लागि compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot मा अन्त्य हुने Chrome जस्तो string, र ChatGPT-User का लागि Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot दिन्छ। संस्करण नम्बर बदलिन सक्छन्, त्यसैले टोकन मिलाउनुहोस्। IP दायरा openai.com/gptbot.json, openai.com/searchbot.json र openai.com/chatgpt-user.json मा प्रकाशित छन्; वास्तविक क्रलर र नक्कल छुट्याउन स्रोत IP लाई तिनसँग जाँच्नुहोस्।
के GPTBot र ChatGPT एउटै हुन्?
होइनन्। GPTBot ट्रेनिङ डेटाका लागि क्रलर हो। ChatGPT सर्चले OAI-SearchBot प्रयोग गर्छ, र प्रयोगकर्ताले माग्ने लाइभ भ्रमण ChatGPT-User बाट आउँछन्।
के म ChatGPT सर्चलाई अनुमति दिएर ट्रेनिङ ब्लक गर्न सक्छु?
सक्नुहुन्छ। robots.txt मा OAI-SearchBot लाई अनुमति दिनुहोस् र GPTBot निषेध गर्नुहोस्। OpenAI ले यी दुई सेटिङलाई स्वतन्त्र भनेर कागजातमा लेखेको छ।
के मैले OpenAI लाई IP ठेगानाबाट ब्लक गर्नुपर्छ?
IP बाट ब्लक गर्दा क्रलरले तपाईंको robots.txt पढ्न पाउँदैन र तपाईंको नीति बदल्न गाह्रो हुन्छ। सामान्यतया नीति robots.txt मा बताउनु र प्रकाशित IP दायरा OpenAI का क्रलर ब्लक गर्न होइन, प्रमाणित गर्न प्रयोग गर्नु राम्रो हो।
पूरै user agent होइन, टोकन किन मिलाउने?
OpenAI भन्छ यसका user agent मा संस्करण नम्बर बदलिन सक्छ, र यसले प्रकाशित गर्ने उदाहरण string क्रलरअनुसार फरक छन्। GPTBot वा OAI-SearchBot मिलाउने नियम अद्यावधिकपछि पनि काम गरिरहन्छन्; ठ्याक्कै string मिलाउने नियम चुपचाप मेल खान छोड्न सक्छन्।