GPTBot

OpenAI · AI ट्रेनिंग

GPTBot हा OpenAI चा क्रॉलर आहे, जो त्याच्या जनरेटिव्ह AI foundation models च्या ट्रेनिंगसाठी वापरला जाऊ शकणारा मजकूर गोळा करतो. robots.txt मध्ये त्याला नकार दिल्याने OpenAI ला तुमचा मजकूर ट्रेनिंगसाठी न वापरण्यास सांगितले जाते. त्याला ब्लॉक केल्याने तुम्ही ChatGPT सर्चच्या उत्तरांमधून बाहेर पडत नाही, कारण ती OAI-SearchBot वर अवलंबून असतात.

त्याला परवानगी कशी द्यावी

User-agent: GPTBot
Allow: /

त्याला ब्लॉक कसे करावे

User-agent: GPTBot
Disallow: /

तो काय करतो

OpenAI सांगते की GPTBot चा वापर त्याचे जनरेटिव्ह AI foundation models अधिक उपयुक्त आणि सुरक्षित करण्यासाठी होतो. तो त्या मॉडेलच्या ट्रेनिंगमध्ये वापरला जाऊ शकणारा मजकूर क्रॉल करतो, आणि GPTBot ला नकार देणे म्हणजे साइटचा मजकूर ट्रेनिंगमध्ये वापरला जाऊ नये असे सूचित करणे.

त्याला परवानगी द्यायची की नाही हा धोरणात्मक निर्णय आहे, दृश्यमानतेचा नाही. ChatGPT सर्च OAI-SearchBot हा वेगळा क्रॉलर वापरते, आणि OpenAI या दोन सेटिंग्ज स्वतंत्र असल्याचे नमूद करते. दोन्हींना परवानगी असल्यास, दोनदा क्रॉल करणे टाळण्यासाठी एका क्रॉलचे निकाल दोन्ही उद्देशांसाठी वापरू शकते असे OpenAI सांगते.

आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 21.4% साइटनी त्याला ब्लॉक केले. →

robots.txt टोकन

GPTBot

युजर-एजंट स्ट्रिंग

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

खऱ्या भेटींची पडताळणी कशी करावी

OpenAI हा एजंट वापरत असलेल्या IP रेंज JSON फाइल म्हणून प्रकाशित करते. विनंतीचा स्रोत IP त्या रेंजशी जुळवा; GPTBot चे नाव सांगणारी पण दुसऱ्या पत्त्यावरून येणारी विनंती OpenAI कडून आलेली नाही. OpenAI नमूद करते की युजर एजंटमधील आवृत्ती क्रमांक बदलू शकतो, त्यामुळे पूर्ण स्ट्रिंगऐवजी GPTBot टोकन जुळवा.

तुमची साइट त्याला आत येऊ देते का ते तपासा →

OpenAI चे क्रॉलर समजून घ्या: GPTBot, OAI-SearchBot आणि ChatGPT-User →