OpenAIના ક્રૉલર સમજો: GPTBot, OAI-SearchBot અને ChatGPT-User

પ્રકાશિત · અપડેટ થયું

ટૂંકો જવાબ

OpenAI તેનાં મૉડલની ટ્રેનિંગમાં વપરાઈ શકે એવું કન્ટેન્ટ ભેગું કરવા GPTBot, ChatGPT સર્ચ માટે પેજ ઇન્ડેક્સ કરવા OAI-SearchBot, અને કોઈ વ્યક્તિ માંગે તે મુલાકાતો માટે ChatGPT-User વાપરે છે. GPTBot બ્લૉક કરવાથી તમે ફક્ત ટ્રેનિંગમાંથી બહાર નીકળો છો. OAI-SearchBot બ્લૉક કરવાથી તમે ChatGPTના સર્ચ જવાબોમાંથી દૂર થાઓ છો. ChatGPT-User પર robots.txt લાગુ ન પણ પડે.

એક જ કંપનીના ત્રણ અલગ યુઝર એજન્ટ, દરેકનું પોતાનું robots.txt ટોકન, ઘણી ગૂંચવણ ઊભી કરે છે. GPTBot આવ્યો ત્યારે ઘણી સાઇટે તેને બ્લૉક કર્યો, અને કેટલીકને પછી ખબર પડી કે તેમણે, ઘણી વાર વ્યાપક ફાયરવૉલ નિયમ દ્વારા, ChatGPT તેમને ટાંકી શકે કે નહીં તે નક્કી કરતા ક્રૉલરને પણ બ્લૉક કર્યો હતો. આ લેખ OpenAIના પોતાના દસ્તાવેજના આધારે દરેક એજન્ટ સમજાવે છે.

આ પેજ પર
  1. GPTBot શું કરે છે?
  2. OAI-SearchBot શું કરે છે?
  3. ChatGPT-User શું કરે છે?
  4. દરેકને બ્લૉક કરું તો શું થાય?
  5. OpenAIના ક્રૉલર માટે મારે કઈ robots.txt વાપરવી?
  6. ફાયરવૉલ તેમને પસાર થવા દે છે તેની ખાતરી કેવી રીતે કરવી?

GPTBot શું કરે છે?

GPTBot એવું કન્ટેન્ટ ક્રૉલ કરે છે જેનો ઉપયોગ OpenAIનાં જનરેટિવ AI ફાઉન્ડેશન મૉડલની ટ્રેનિંગમાં થઈ શકે. OpenAIના દસ્તાવેજ કહે છે કે GPTBotને મનાઈ કરવાથી સૂચવાય છે કે સાઇટનું કન્ટેન્ટ એ મૉડલની ટ્રેનિંગમાં ન વપરાવું જોઈએ.

તેના યુઝર એજન્ટમાં GPTBot ટોકન હોય છે, ઉદાહરણ તરીકે Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI નોંધે છે કે વર્ઝન નંબર બદલાઈ શકે છે, તેથી આખી સ્ટ્રિંગ નહીં પણ ટોકન સાથે મેળવો. OpenAI તેની IP રેન્જ openai.com/gptbot.json પર પ્રકાશિત કરે છે.

તેને મંજૂરી આપવી કે નહીં એ નીતિનો નિર્ણય છે. કેટલાક પ્રકાશકો તેમનું કન્ટેન્ટ ટ્રેનિંગ ડેટામાં ઇચ્છે છે, બીજા નથી ઇચ્છતા. તેને બ્લૉક કરવાથી ChatGPT સર્ચને અસર થતી નથી, કારણ કે એ અલગ ક્રૉલર છે. જો તમે પછી મન બદલો, તો Disallow લાઇન કાઢી નાખવી પૂરતી છે; કંઈ રજિસ્ટર કે વિનંતી કરવાની જરૂર નથી.

OAI-SearchBot શું કરે છે?

OAI-SearchBot OpenAIનો સર્ચ ક્રૉલર છે. તે ChatGPTની સર્ચ સુવિધાઓમાં વેબસાઇટ બતાવે છે. OpenAI સ્પષ્ટ જણાવે છે કે OAI-SearchBotમાંથી બહાર નીકળેલી સાઇટ ChatGPTના સર્ચ જવાબોમાં બતાવાશે નહીં.

જો તમે ઇચ્છો કે ChatGPT તમારાં પેજ ટાંકે, તો robots.txt અને તમારા ફાયરવૉલ બંનેમાં આ ક્રૉલરને મંજૂરી આપો. તેની IP રેન્જ openai.com/searchbot.json પર પ્રકાશિત છે, જેથી ફાયરવૉલ ચકાસી શકે કે વિનંતી ખરેખર OpenAI તરફથી આવે છે.

ChatGPT-User શું કરે છે?

ChatGPT-User સામાન્ય અર્થમાં ક્રૉલર નથી. ChatGPT યુઝર કે Custom GPT માંગે ત્યારે તે પેજ મેળવે છે, ઉદાહરણ તરીકે જ્યારે કોઈ તમારું URL ચૅટમાં પેસ્ટ કરીને સારાંશ માંગે. OpenAI કહે છે કે તે વેબના ઑટોમેટિક ક્રૉલિંગ માટે વપરાતો નથી.

અહીં OpenAIના દસ્તાવેજની બે વિગતો મહત્ત્વની છે. પહેલી, આ ક્રિયાઓ યુઝર શરૂ કરે છે, તેથી robots.txtના નિયમો લાગુ ન પણ પડે. બીજી, કન્ટેન્ટ સર્ચમાં દેખાઈ શકે કે નહીં તે નક્કી કરવા ChatGPT-User વપરાતો નથી. સર્ચ માટે OAI-SearchBotનું સેટિંગ જ ગણાય છે.

દરેકને બ્લૉક કરું તો શું થાય?

OpenAI એ પણ નોંધે છે કે જ્યારે GPTBot અને OAI-SearchBot બંનેને મંજૂરી હોય, ત્યારે બે વાર ક્રૉલ કરવાનું ટાળવા તે એક ક્રૉલનાં પરિણામો બંને હેતુ માટે વાપરી શકે છે.

OpenAIના ક્રૉલર માટે મારે કઈ robots.txt વાપરવી?

ChatGPTના જવાબોમાં દેખાવા ઇચ્છતી મોટા ભાગની સાઇટ માટે, સર્ચ ક્રૉલરને મંજૂરી આપો અને ટ્રેનિંગ વિશે અલગથી નક્કી કરો. આ ફાઇલ સર્ચને મંજૂરી આપે છે અને ટ્રેનિંગમાંથી બહાર નીકળે છે:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

RFC 9309ની એક વિગત નોંધો: ક્રૉલર પોતાનું નામ ધરાવતા જૂથને અનુસરે છે અને * જૂથને અવગણે છે. ઉપરના ઉદાહરણમાં OAI-SearchBotને /admin/માં જવાની છૂટ મળશે, કારણ કે તેના પોતાના જૂથમાં Disallow: /admin/ લાઇન નથી. જે પાથ ખાનગી રાખવા હોય તે દરેક નામવાળા જૂથમાં ફરીથી લખો. OpenAI કહે છે કે સર્ચના ફેરફારો લાગુ થતાં લગભગ 24 કલાક લાગી શકે છે.

ફાયરવૉલ તેમને પસાર થવા દે છે તેની ખાતરી કેવી રીતે કરવી?

robots.txt ફક્ત તમારી નીતિ જણાવે છે. દરેક વિનંતીને ખરેખર શું મળે છે તે ફાયરવૉલ કે CDN નક્કી કરે છે. દરેક ક્રૉલરના યુઝર એજન્ટથી પેજ મંગાવો અને સ્ટેટસ કોડ અને body કદ બ્રાઉઝરની વિનંતી સાથે સરખાવો. ક્રૉલર માટે 403, 429 કે ચેલેન્જ પેજ અને બ્રાઉઝર માટે સામાન્ય પેજનો અર્થ છે કે ફાયરવૉલ તમારી robots.txtને ઓળંગે છે.

AISeeWhy ત્રણેય OpenAI એજન્ટ માટે આ સરખામણી એકસાથે કરે છે, OAI-SearchBot અને ChatGPT-Userના બ્લૉકને P1 તરીકે ચિહ્નિત કરે છે કારણ કે તેનાથી હવાલા ગુમાવાય છે, અને બ્લૉક થયેલા GPTBotને ભૂલ નહીં પણ P3 નીતિની પસંદગી તરીકે બતાવે છે.

આ સમસ્યાના સુધારા

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

OpenAIના ક્રૉલરની user agent strings શું છે?

OpenAIના દસ્તાવેજો GPTBot માટે Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, OAI-SearchBot માટે compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotથી પૂરી થતી Chrome જેવી string, અને ChatGPT-User માટે Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot આપે છે. Version numbers બદલાઈ શકે છે, તેથી token પર મેચ કરો. IP રેન્જ openai.com/gptbot.json, openai.com/searchbot.json અને openai.com/chatgpt-user.json પર પ્રકાશિત છે; સાચા ક્રૉલરને નકલીથી અલગ ઓળખવા source IPને તેમની સામે તપાસો.

શું GPTBot અને ChatGPT એક જ છે?

ના. GPTBot ટ્રેનિંગ ડેટા માટેનો ક્રૉલર છે. ChatGPT સર્ચ OAI-SearchBot વાપરે છે, અને યુઝરે માંગેલી લાઇવ મુલાકાતો ChatGPT-User તરફથી આવે છે.

શું હું ChatGPT સર્ચને મંજૂરી આપીને ટ્રેનિંગ બ્લૉક કરી શકું?

હા. robots.txtમાં OAI-SearchBotને મંજૂરી આપો અને GPTBotને મનાઈ કરો. OpenAI બંને સેટિંગને સ્વતંત્ર તરીકે દસ્તાવેજમાં જણાવે છે.

શું મારે OpenAIને IP સરનામાથી બ્લૉક કરવું જોઈએ?

IPથી બ્લૉક કરવાથી ક્રૉલર તમારી robots.txt વાંચી શકતો નથી અને તમારી નીતિ બદલવી મુશ્કેલ બને છે. સામાન્ય રીતે નીતિ robots.txtમાં જણાવવી અને પ્રકાશિત IP રેન્જનો ઉપયોગ OpenAIના ક્રૉલરને બ્લૉક કરવા નહીં, પણ ચકાસવા માટે કરવો વધુ સારું છે.

આખા યુઝર એજન્ટને બદલે ટોકન સાથે કેમ મેળવવું?

OpenAI કહે છે કે તેના યુઝર એજન્ટમાંનો વર્ઝન નંબર બદલાઈ શકે છે, અને તે પ્રકાશિત કરે છે તે ઉદાહરણ સ્ટ્રિંગ દરેક ક્રૉલરમાં અલગ છે. GPTBot કે OAI-SearchBot સાથે મેળ ખાતા નિયમો અપડેટ પછી પણ કામ કરતા રહે છે; ચોક્કસ સ્ટ્રિંગ સાથે મેળ ખાતા નિયમો ચૂપચાપ કામ કરતા બંધ થઈ શકે છે.

સ્રોતો

વધુ લેખો