OpenAI चे क्रॉलर समजून घ्या: GPTBot, OAI-SearchBot आणि ChatGPT-User
OpenAI त्याच्या मॉडेलच्या ट्रेनिंगसाठी वापरला जाऊ शकणारा मजकूर गोळा करण्यासाठी GPTBot, ChatGPT सर्चसाठी पेजेस इंडेक्स करण्यासाठी OAI-SearchBot, आणि एखाद्या व्यक्तीने मागितलेल्या भेटींसाठी ChatGPT-User वापरते. GPTBot ब्लॉक केल्याने तुम्ही फक्त ट्रेनिंगमधून बाहेर पडता. OAI-SearchBot ब्लॉक केल्याने तुम्ही ChatGPT सर्च उत्तरांमधून निघून जाता. ChatGPT-User ला robots.txt लागू होईलच असे नाही.
एकाच कंपनीचे तीन वेगवेगळे युजर एजंट, प्रत्येकाचे स्वतःचे robots.txt टोकन, यामुळे बराच गोंधळ होतो. GPTBot आला तेव्हा अनेक साइटनी त्याला ब्लॉक केले, आणि काहींना नंतर कळले की ChatGPT त्यांचा संदर्भ देऊ शकते का हे ठरवणारा क्रॉलरही त्यांनी ब्लॉक केला होता, बहुतेकदा व्यापक फायरवॉल नियमामुळे. हा लेख OpenAI च्या स्वतःच्या दस्तऐवजाच्या आधारे प्रत्येक एजंट समजावून सांगतो.
या पेजवर
GPTBot काय करतो?
GPTBot असा मजकूर क्रॉल करतो जो OpenAI च्या जनरेटिव्ह AI फाउंडेशन मॉडेलच्या ट्रेनिंगसाठी वापरला जाऊ शकतो. OpenAI चे दस्तऐवज सांगतात की GPTBot ला नाकारल्याने साइटचा मजकूर त्या मॉडेलच्या ट्रेनिंगमध्ये वापरू नये असे सूचित होते.
त्याच्या युजर एजंटमध्ये GPTBot टोकन असते, उदाहरणार्थ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI नमूद करते की आवृत्ती क्रमांक बदलू शकतो, त्यामुळे पूर्ण स्ट्रिंगवर नव्हे तर टोकनवर जुळणी करा. OpenAI त्याच्या IP रेंज openai.com/gptbot.json वर प्रकाशित करते.
त्याला परवानगी द्यायची की नाही हा धोरणात्मक निर्णय आहे. काही प्रकाशकांना त्यांचा मजकूर ट्रेनिंग डेटामध्ये हवा असतो, इतरांना नको. त्याला ब्लॉक केल्याने ChatGPT सर्चवर परिणाम होत नाही, कारण तो वेगळा क्रॉलर आहे. नंतर विचार बदलल्यास Disallow ओळ काढणे पुरेसे आहे; नोंदणी किंवा विनंती करण्यासारखे काहीही नाही.
OAI-SearchBot काय करतो?
OAI-SearchBot हा OpenAI चा सर्च क्रॉलर आहे. तो ChatGPT च्या सर्च फीचरमध्ये वेबसाइट दाखवतो. OpenAI स्पष्टपणे सांगते की OAI-SearchBot मधून बाहेर पडलेल्या साइट ChatGPT सर्च उत्तरांमध्ये दाखवल्या जाणार नाहीत.
ChatGPT ने तुमच्या पेजेसचा संदर्भ द्यावा असे वाटत असल्यास, robots.txt मध्ये आणि तुमच्या फायरवॉलमध्ये दोन्हीकडे याच क्रॉलरला परवानगी द्या. त्याच्या IP रेंज openai.com/searchbot.json वर प्रकाशित आहेत, ज्यामुळे विनंती खरोखर OpenAI कडून आली आहे याची फायरवॉलला पडताळणी करता येते.
ChatGPT-User काय करतो?
ChatGPT-User हा नेहमीच्या अर्थाने क्रॉलर नाही. ChatGPT युजर किंवा Custom GPT मागतो तेव्हा तो पेज मिळवतो, उदाहरणार्थ कोणी तुमची URL चॅटमध्ये पेस्ट करून सारांश मागतो तेव्हा. OpenAI सांगते की तो वेबच्या स्वयंचलित क्रॉलिंगसाठी वापरला जात नाही.
इथे OpenAI च्या दस्तऐवजातील दोन तपशील महत्त्वाचे आहेत. पहिला, या कृती युजरने सुरू केलेल्या असल्यामुळे robots.txt नियम लागू होतीलच असे नाही. दुसरा, मजकूर सर्चमध्ये दिसू शकतो का हे ठरवण्यासाठी ChatGPT-User वापरला जात नाही. सर्चसाठी महत्त्वाची सेटिंग OAI-SearchBot ची आहे.
प्रत्येकाला ब्लॉक केल्यावर काय होते?
GPTBotब्लॉक करा: तुमचा मजकूर ट्रेनिंगसाठी वापरू नये असे चिन्हांकित होते.OAI-SearchBotला परवानगी असल्यास ChatGPT सर्च तरीही तुम्हाला दाखवू आणि उद्धृत करू शकतो.OAI-SearchBotब्लॉक करा: तुमची पेजेस ChatGPT सर्च उत्तरांमध्ये दाखवली जाणार नाहीत. ट्रेनिंगGPTBotद्वारे स्वतंत्रपणे नियंत्रित होते.- robots.txt मध्ये
ChatGPT-Userब्लॉक करा: OpenAI सांगते की या भेटींना robots.txt लागू होईलच असे नाही, त्यामुळे परिणामाची हमी नाही. फायरवॉलवर ब्लॉक केल्यास पेज मिळवणे थांबते, आणि तुमची लिंक पेस्ट करणाऱ्या युजरना तुमच्या मजकुराऐवजी एरर मिळते. - फायरवॉलवर तिन्ही ब्लॉक करा: ChatGPT तुमची पेजेस ना इंडेक्स करू शकतो ना मिळवू शकतो, त्यामुळे त्याच्याकडे उद्धृत करण्यासाठी तुमचे काहीच नसते.
- तिन्हींना परवानगी द्या: तुमची पेजेस सर्चसाठी इंडेक्स होऊ शकतात, विनंतीवर मिळवली जाऊ शकतात आणि
GPTBotद्वारे ट्रेनिंगसाठी वापरली जाऊ शकतात.
OpenAI असेही नमूद करते की GPTBot आणि OAI-SearchBot दोघांनाही परवानगी असल्यास, दोनदा क्रॉलिंग टाळण्यासाठी ते एकाच क्रॉलचे निकाल दोन्ही उद्देशांसाठी वापरू शकते.
OpenAI च्या क्रॉलरसाठी मी कोणती robots.txt वापरावी?
ChatGPT उत्तरांमध्ये दिसू इच्छिणाऱ्या बहुतेक साइटसाठी: सर्च क्रॉलरला परवानगी द्या आणि ट्रेनिंगबद्दल स्वतंत्रपणे निर्णय घ्या. ही फाइल सर्चला परवानगी देते आणि ट्रेनिंगमधून बाहेर पडते:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/ RFC 9309 मधील एक तपशील लक्षात घ्या: क्रॉलर त्याचे नाव असलेल्या गटाचे पालन करतो आणि * गटाकडे दुर्लक्ष करतो. वरील उदाहरणात OAI-SearchBot ला /admin/ मध्ये प्रवेश मिळेल, कारण त्याच्या स्वतःच्या गटात Disallow: /admin/ ओळ नाही. खाजगी ठेवायचे सर्व पाथ प्रत्येक नाव असलेल्या गटात पुन्हा लिहा. OpenAI सांगते की सर्चमधील बदल लागू होण्यास सुमारे 24 तास लागू शकतात.
फायरवॉल त्यांना आत येऊ देतो याची खात्री कशी करावी?
robots.txt फक्त तुमचे धोरण सांगते. प्रत्येक विनंतीला प्रत्यक्षात काय मिळते ते फायरवॉल किंवा CDN ठरवतो. प्रत्येक क्रॉलरच्या युजर एजंटसह पेज मागवा आणि स्टेटस कोड व बॉडीच्या आकाराची ब्राउझर विनंतीशी तुलना करा. क्रॉलरला 403, 429 किंवा चॅलेंज पेज आणि ब्राउझरला सामान्य पेज मिळणे म्हणजे फायरवॉल तुमच्या robots.txt वर मात करतो.
AISeeWhy ही तुलना OpenAI च्या तिन्ही एजंटसाठी एकाच वेळी करते, OAI-SearchBot आणि ChatGPT-User च्या ब्लॉकला P1 चिन्हांकित करते कारण त्यांनी संदर्भ गमावले जातात, आणि ब्लॉक झालेला GPTBot चूक म्हणून नव्हे तर P3 धोरणात्मक निवड म्हणून दाखवते.
या समस्येवरील उपाय
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
OpenAI च्या क्रॉलरच्या युजर एजंट स्ट्रिंग कोणत्या आहेत?
OpenAI चे दस्तऐवज GPTBot साठी Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot साठी compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ने संपणारी Chrome सारखी स्ट्रिंग, आणि ChatGPT-User साठी Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot देतात. आवृत्ती क्रमांक बदलू शकतात, त्यामुळे टोकनवर जुळणी करा. IP रेंज openai.com/gptbot.json, openai.com/searchbot.json आणि openai.com/chatgpt-user.json वर प्रकाशित आहेत; खरा क्रॉलर आणि नक्कल यातील फरक ओळखण्यासाठी स्रोत IP त्यांच्याशी तपासा.
GPTBot आणि ChatGPT एकच आहेत का?
नाही. GPTBot ट्रेनिंग डेटासाठीचा क्रॉलर आहे. ChatGPT सर्च OAI-SearchBot वापरतो, आणि युजरनी मागितलेल्या लाइव्ह भेटी ChatGPT-User कडून येतात.
ChatGPT सर्चला परवानगी देऊन ट्रेनिंग ब्लॉक करता येते का?
होय. robots.txt मध्ये OAI-SearchBot ला परवानगी द्या आणि GPTBot ला नाकारा. OpenAI या दोन सेटिंग्ज स्वतंत्र असल्याचे दस्तऐवजात सांगते.
मी OpenAI ला IP पत्त्याने ब्लॉक करावे का?
IP ने ब्लॉक केल्यास क्रॉलर तुमची robots.txt वाचू शकत नाही आणि तुमचे धोरण बदलणे कठीण होते. सहसा धोरण robots.txt मध्ये सांगणे आणि प्रकाशित IP रेंज OpenAI च्या क्रॉलरना ब्लॉक करण्यासाठी नव्हे, तर त्यांची पडताळणी करण्यासाठी वापरणे चांगले.
पूर्ण युजर एजंटवर नव्हे तर टोकनवर जुळणी का करावी?
OpenAI सांगते की त्याच्या युजर एजंटमधील आवृत्ती क्रमांक बदलू शकतो, आणि ते प्रकाशित करत असलेल्या उदाहरण स्ट्रिंग क्रॉलरनुसार वेगळ्या आहेत. GPTBot किंवा OAI-SearchBot शी जुळणारे नियम अपडेटनंतरही काम करत राहतात; नेमक्या स्ट्रिंगशी जुळणारे नियम कळत न कळत जुळणे थांबवू शकतात.