GPTBot
GPTBot ለgenerative AI መሠረታዊ ሞዴሎቹ ስልጠና ጥቅም ላይ ሊውል የሚችል ይዘትን የሚሰበስብ የOpenAI ክሮውለር ነው። በrobots.txt ውስጥ መከልከሉ OpenAI ይዘትዎን ለስልጠና እንዳይጠቀም ይነግረዋል። እሱን ማገድ በOAI-SearchBot ላይ ከሚመሠረቱት የChatGPT ፍለጋ መልሶች አያስወጣዎትም።
እንዴት እንደሚፈቀድ
User-agent: GPTBot
Allow: / እንዴት እንደሚታገድ
User-agent: GPTBot
Disallow: / ምን ያደርጋል
OpenAI GPTBot የgenerative AI መሠረታዊ ሞዴሎቹን ይበልጥ ጠቃሚ እና ደህንነቱ የተጠበቀ ለማድረግ እንደሚያገለግል ይናገራል። በእነዚያ ሞዴሎች ስልጠና ላይ ጥቅም ላይ ሊውል የሚችል ይዘትን crawl ያደርጋል፣ GPTBotን መከልከል ደግሞ የድረ-ገጹ ይዘት ለስልጠና ጥቅም ላይ መዋል እንደሌለበት ያመለክታል።
እሱን መፍቀድ ወይም አለመፍቀድ የፖሊሲ ውሳኔ ነው እንጂ የታይነት ውሳኔ አይደለም። የChatGPT ፍለጋ የተለየ ክሮውለር፣ OAI-SearchBot፣ ይጠቀማል፣ OpenAI ደግሞ ሁለቱን ቅንብሮች እንደ ገለልተኛ ይገልጻቸዋል። ሁለቱም ሲፈቀዱ OpenAI ሁለት ጊዜ crawl ላለማድረግ የአንድን crawl ውጤቶች ለሁለቱም ዓላማዎች ሊጠቀም እንደሚችል ይናገራል።
በ2026-11 ባደረግነው ጥናት robots.txt ካላቸው ታዋቂ ድረ-ገጾች 21.4% አግደውታል። →
የrobots.txt token
GPTBot
የUser-agent string
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot እውነተኛ ጉብኝቶችን እንዴት ማረጋገጥ እንደሚቻል
OpenAI ይህ ወኪል የሚጠቀምባቸውን የIP ክልሎች እንደ JSON ፋይል ያትማል። የጥያቄውን ምንጭ IP ከእነዚያ ክልሎች ጋር ያዛምዱ፤ GPTBotን የሚጠቅስ ነገር ግን ከሌላ አድራሻ የሚመጣ ጥያቄ ከOpenAI አይደለም። OpenAI በuser agent ውስጥ ያለው የስሪት ቁጥር ሊቀየር እንደሚችል ይገልጻል፣ ስለዚህ ከሙሉው string ይልቅ የGPTBot tokenን ያዛምዱ።
የOpenAI ክሮውለሮች ሲብራሩ፦ GPTBot፣ OAI-SearchBot እና ChatGPT-User →