GPTBot
GPTBot એ OpenAIનો ક્રૉલર છે, જે એવું કન્ટેન્ટ ભેગું કરે છે જેનો ઉપયોગ તેના જનરેટિવ AI ફાઉન્ડેશન મૉડલને ટ્રેન કરવા માટે થઈ શકે. robots.txtમાં તેને મનાઈ કરવાથી OpenAIને જણાવાય છે કે તમારું કન્ટેન્ટ ટ્રેનિંગ માટે ન વાપરે. તેને બ્લૉક કરવાથી તમે ChatGPT સર્ચના જવાબોમાંથી દૂર થતા નથી; તે OAI-SearchBot પર આધાર રાખે છે.
તેને કેવી રીતે આવવા દેવો
User-agent: GPTBot
Allow: / તેને કેવી રીતે બ્લૉક કરવો
User-agent: GPTBot
Disallow: / તે શું કરે છે
OpenAI કહે છે કે GPTBotનો ઉપયોગ તેના જનરેટિવ AI ફાઉન્ડેશન મૉડલને વધુ ઉપયોગી અને સલામત બનાવવા માટે થાય છે. તે એવું કન્ટેન્ટ ક્રૉલ કરે છે જેનો ઉપયોગ આ મૉડલની ટ્રેનિંગમાં થઈ શકે, અને GPTBotને મનાઈ કરવી એ દર્શાવે છે કે સાઇટનું કન્ટેન્ટ ટ્રેનિંગમાં ન વાપરવું.
તેને આવવા દેવો કે નહીં એ નીતિનો નિર્ણય છે, દેખાવાનો નહીં. ChatGPT સર્ચ અલગ ક્રૉલર, OAI-SearchBot, વાપરે છે, અને OpenAI બંને સેટિંગને એકબીજાથી સ્વતંત્ર તરીકે દસ્તાવેજિત કરે છે. જ્યારે બંનેને મંજૂરી હોય, ત્યારે OpenAI કહે છે કે બે વાર ક્રૉલ ન કરવું પડે તે માટે તે એક ક્રૉલનાં પરિણામ બંને હેતુ માટે વાપરી શકે છે.
અમારા 2026-11ના અભ્યાસમાં, robots.txt ધરાવતી લોકપ્રિય સાઇટમાંથી 21.4% સાઇટે તેને બ્લૉક કર્યો હતો. →
robots.txt ટોકન
GPTBot
યુઝર-એજન્ટ સ્ટ્રિંગ
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot સાચી મુલાકાતો કેવી રીતે ચકાસવી
OpenAI આ એજન્ટ જે IP રેન્જ વાપરે છે તે JSON ફાઇલ તરીકે પ્રકાશિત કરે છે. વિનંતીના સ્રોત IPને આ રેન્જ સાથે મેળવો; જે વિનંતી પોતાને GPTBot કહે છે પણ બીજા સરનામેથી આવે છે તે OpenAI તરફથી નથી. OpenAI જણાવે છે કે યુઝર એજન્ટમાં વર્ઝન નંબર બદલાઈ શકે છે, તેથી આખી સ્ટ્રિંગને બદલે GPTBot ટોકન મેળવો.
તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →
OpenAIના ક્રૉલર સમજો: GPTBot, OAI-SearchBot અને ChatGPT-User →