የOpenAI ክሮውለሮች ሲብራሩ፦ GPTBot፣ OAI-SearchBot እና ChatGPT-User

የታተመበት · የተሻሻለበት

አጭር መልስ

OpenAI ሞዴሎቹን ሊያሰለጥን የሚችል ይዘት ለመሰብሰብ GPTBotን፣ ለChatGPT ፍለጋ ገጾችን index ለማድረግ OAI-SearchBotን፣ አንድ ሰው ለሚጠይቃቸው ጉብኝቶች ደግሞ ChatGPT-Userን ይጠቀማል። GPTBotን ማገድ ከስልጠና ብቻ ያስወጣዎታል። OAI-SearchBotን ማገድ ከChatGPT የፍለጋ መልሶች ያስወጣዎታል። robots.txt በChatGPT-User ላይ ላይተገበር ይችላል።

ከአንድ ኩባንያ የመጡ ሦስት የተለያዩ user agents፣ እያንዳንዳቸው የራሳቸው የrobots.txt token ያላቸው፣ ብዙ ግራ መጋባት ይፈጥራሉ። GPTBot ሲመጣ ብዙ ድረ-ገጾች አገዱት፣ አንዳንዶቹም በኋላ ChatGPT ሊጠቅሳቸው ይችል እንደሆነ የሚወስነውን ክሮውለርም እንዳገዱ አወቁ፣ ብዙ ጊዜ በሰፊ የፋየርዎል ደንብ። ይህ ጽሑፍ የOpenAIን የራሱን ሰነዶች ተጠቅሞ እያንዳንዱን ወኪል ያብራራል።

በዚህ ገጽ ላይ
  1. GPTBot ምን ይሠራል?
  2. OAI-SearchBot ምን ይሠራል?
  3. ChatGPT-User ምን ይሠራል?
  4. እያንዳንዳቸውን ሳግድ ምን ይሆናል?
  5. ለOpenAI ክሮውለሮች የትኛውን robots.txt መጠቀም አለብኝ?
  6. ፋየርዎሉ እንደሚያሳልፋቸው እንዴት አረጋግጣለሁ?

GPTBot ምን ይሠራል?

GPTBot የOpenAI የgenerative AI መሠረታዊ ሞዴሎችን ለማሰልጠን ሊውል የሚችል ይዘትን ክሮውል ያደርጋል። የOpenAI ሰነዶች GPTBotን መከልከል የድረ-ገጹ ይዘት እነዚያን ሞዴሎች ለማሰልጠን መዋል እንደሌለበት እንደሚያመለክት ይናገራሉ።

user agentው GPTBot የሚለውን token ይይዛል፣ ለምሳሌ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot። OpenAI የስሪት ቁጥሩ ሊለወጥ እንደሚችል ያስታውሳል፣ ስለዚህ ሙሉውን string ሳይሆን tokenኑን ያዛምዱ። OpenAI የIP ክልሎቹን በopenai.com/gptbot.json ያትማል።

መፍቀድ አለመፍቀዱ የፖሊሲ ውሳኔ ነው። አንዳንድ አሳታሚዎች ይዘታቸው በስልጠና ውሂብ ውስጥ እንዲሆን ይፈልጋሉ፣ ሌሎች አይፈልጉም። እሱን ማገድ የChatGPT ፍለጋን አይነካም፣ ምክንያቱም ያ የተለየ ክሮውለር ነው። በኋላ ሐሳብዎን ከቀየሩ የDisallow መስመሩን ማስወገድ በቂ ነው፤ የሚመዘገብ ወይም የሚጠየቅ ምንም ነገር የለም።

OAI-SearchBot ምን ይሠራል?

OAI-SearchBot የOpenAI የፍለጋ ክሮውለር ነው። ድረ-ገጾችን በChatGPT የፍለጋ ባህሪያት ውስጥ ያሳያል። OpenAI ከOAI-SearchBot የወጡ ድረ-ገጾች በChatGPT የፍለጋ መልሶች ውስጥ እንደማይታዩ በግልጽ ይናገራል።

ChatGPT ገጾችዎን እንዲጠቅስ ከፈለጉ፣ በrobots.txt እና በፋየርዎልዎ ውስጥ መፍቀድ ያለብዎት ይህን ክሮውለር ነው። የIP ክልሎቹ በopenai.com/searchbot.json ታትመዋል፣ ይህም ፋየርዎል ጥያቄው በእርግጥ ከOpenAI መምጣቱን እንዲያረጋግጥ ያስችለዋል።

ChatGPT-User ምን ይሠራል?

ChatGPT-User በተለመደው ትርጉም ክሮውለር አይደለም። የChatGPT ተጠቃሚ ወይም Custom GPT ሲጠይቅ ገጽን ያመጣል፣ ለምሳሌ አንድ ሰው URLዎን በውይይት ውስጥ ለጥፎ ማጠቃለያ ሲጠይቅ። OpenAI ድርን በራስ-ሰር ክሮውል ለማድረግ እንደማይውል ይናገራል።

ከOpenAI ሰነዶች ሁለት ዝርዝሮች እዚህ አስፈላጊ ናቸው። አንደኛ፣ እነዚህ ድርጊቶች በተጠቃሚ ስለሚጀመሩ የrobots.txt ደንቦች ላይተገበሩ ይችላሉ። ሁለተኛ፣ ChatGPT-User ይዘት በፍለጋ ውስጥ ሊታይ ይችል እንደሆነ ለመወሰን አይውልም። ለፍለጋ የሚቆጠረው ቅንብር OAI-SearchBot ነው።

እያንዳንዳቸውን ሳግድ ምን ይሆናል?

OpenAI ሁለቱም GPTBot እና OAI-SearchBot ሲፈቀዱ፣ ሁለት ጊዜ ክሮውል ላለማድረግ የአንድን ክሮውል ውጤቶች ለሁለቱም ዓላማዎች ሊጠቀም እንደሚችልም ያስታውሳል።

ለOpenAI ክሮውለሮች የትኛውን robots.txt መጠቀም አለብኝ?

በChatGPT መልሶች ውስጥ መታየት ለሚፈልጉ አብዛኞቹ ድረ-ገጾች፣ የፍለጋ ክሮውለሩን ይፍቀዱ እና ስለ ስልጠና ለየብቻ ይወስኑ። ይህ ፋይል ፍለጋን ይፈቅዳል እና ከስልጠና ያስወጣል፦

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

የRFC 9309ን አንድ ዝርዝር ልብ ይበሉ፦ ክሮውለር የሚሰይመውን ቡድን ይከተላል እና የ* ቡድንን ችላ ይላል። ከላይ ባለው ምሳሌ OAI-SearchBot ወደ /admin/ እንዲገባ ይፈቀድለታል፣ ምክንያቱም የራሱ ቡድን የDisallow: /admin/ መስመር የለውም። ግል እንዲሆኑ የሚፈልጓቸውን ማንኛውንም paths በእያንዳንዱ የተሰየመ ቡድን ውስጥ ይድገሙ። OpenAI የፍለጋ ለውጦች እስኪተገበሩ 24 ሰዓት ገደማ ሊወስዱ እንደሚችሉ ይናገራል።

ፋየርዎሉ እንደሚያሳልፋቸው እንዴት አረጋግጣለሁ?

robots.txt ፖሊሲዎን ብቻ ይገልጻል። እያንዳንዱ ጥያቄ በእርግጥ ምን እንደሚያገኝ የሚወስነው ፋየርዎሉ ወይም CDNው ነው። ገጽን በእያንዳንዱ ክሮውለር user agent ይጠይቁ እና የሁኔታ ኮዱን እና የbody መጠኑን ከአሳሽ ጥያቄ ጋር ያነጻጽሩ። ለክሮውለሩ 403፣ 429 ወይም የchallenge ገጽ፣ ለአሳሹ ደግሞ መደበኛ ገጽ ማለት ፋየርዎሉ robots.txtዎን ይሽራል ማለት ነው።

AISeeWhy ይህን ንጽጽር ለሦስቱም የOpenAI ወኪሎች በአንድ ጊዜ ያካሂዳል፣ የOAI-SearchBot እና የChatGPT-User እገዳዎችን ጥቅሶችን ስለሚያሳጡ P1 ብሎ ይመድባል፣ የታገደ GPTBotን ደግሞ እንደ ስህተት ሳይሆን እንደ P3 የፖሊሲ ምርጫ ይዘረዝራል።

ለዚህ ችግር ማስተካከያዎች

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

የOpenAI ክሮውለሮች user agent strings ምንድን ናቸው?

የOpenAI ሰነዶች ለGPTBot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotን፣ ለOAI-SearchBot በcompatible; OAI-SearchBot/1.4; +https://openai.com/searchbot የሚያልቅ የChrome ዓይነት stringን፣ ለChatGPT-User ደግሞ Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/botን ይሰጣሉ። የስሪት ቁጥሮች ሊለወጡ ይችላሉ፣ ስለዚህ tokenውን ያዛምዱ። IP ክልሎቹ በopenai.com/gptbot.json፣ openai.com/searchbot.json እና openai.com/chatgpt-user.json ታትመዋል፤ እውነተኛ ክሮውለርን ከአስመሳይ ለመለየት የምንጭ IPውን ከእነሱ ጋር ያነጻጽሩ።

GPTBot ከChatGPT ጋር አንድ ነው?

አይደለም። GPTBot ለስልጠና ውሂብ የሚሆን ክሮውለር ነው። የChatGPT ፍለጋ OAI-SearchBotን ይጠቀማል፣ በተጠቃሚዎች የሚጠየቁ የቀጥታ ጉብኝቶች ደግሞ ከChatGPT-User ይመጣሉ።

የChatGPT ፍለጋን ፈቅጄ ስልጠናን ማገድ እችላለሁ?

አዎ። በrobots.txt ውስጥ OAI-SearchBotን ይፍቀዱ እና GPTBotን ይከልክሉ። OpenAI ሁለቱን ቅንብሮች ነጻ እንደሆኑ ይገልጻል።

OpenAIን በIP አድራሻ ማገድ አለብኝ?

በIP ማገድ ክሮውለሩ robots.txtዎን እንዳያነብ ያደርገዋል፣ ፖሊሲዎን መቀየርንም ያከብዳል። ብዙ ጊዜ የተሻለው ፖሊሲውን በrobots.txt መግለጽ እና የታተሙትን IP ክልሎች የOpenAI ክሮውለሮችን ለማገድ ሳይሆን ለማረጋገጥ መጠቀም ነው።

ሙሉውን user agent ሳይሆን tokenኑን ለምን ማዛመድ አለብኝ?

OpenAI በuser agents ውስጥ ያለው የስሪት ቁጥር ሊለወጥ እንደሚችል ይናገራል፣ የሚያትማቸው የምሳሌ strings ደግሞ በክሮውለሮች መካከል ይለያያሉ። GPTBotን ወይም OAI-SearchBotን የሚያዛምዱ ደንቦች ከዝማኔ በኋላም መሥራታቸውን ይቀጥላሉ፤ ትክክለኛውን string የሚያዛምዱ ደንቦች ግን ሳይታወቅ ማዛመድ ሊያቆሙ ይችላሉ።

ምንጮች

ተጨማሪ ጽሑፎች