የAI ስልጠናን አግደው በAI ፍለጋ መልሶች ውስጥ እንዴት መቆየት ይቻላል
አብዛኞቹ የAI አቅራቢዎች ለሞዴል ስልጠና እና ለፍለጋ የተለያዩ የrobots.txt tokens ይጠቀማሉ። እንደ GPTBot፣ ClaudeBot፣ Google-Extended፣ Applebot-Extended፣ meta-externalagent እና CCBot ያሉትን የስልጠና tokens ይከልክሉ፣ እንደ OAI-SearchBot፣ Claude-SearchBot እና PerplexityBot ያሉትን የፍለጋ እና የተጠቃሚ tokens ደግሞ ይፍቀዱ። ተመሳሳዩን ምርጫ በቃላት ለመግለጽ የContent-Signal መስመር ይጨምሩ።
ብዙ የድረ-ገጽ ባለቤቶች ሁለት ነገሮችን በአንድ ጊዜ ይፈልጋሉ፦ ይዘታቸው የAI ሞዴሎችን ለማሰልጠን እንዲውል አይፈልጉም፣ የAI ረዳቶች ግን ገጾቻቸውን እንዲያገኙ፣ እንዲጠቅሱ እና እንዲያገናኙ ይፈልጋሉ። ዋና ዋናዎቹ አቅራቢዎች አሁን እነዚህን ሥራዎች በተለያዩ ክሮውለሮች ወይም tokens ስለሚከፍሉ፣ robots.txt ሁለቱንም ምርጫዎች መግለጽ ይችላል። ችግሩ ስሞቹ በአቅራቢዎች መካከል መለያየታቸው፣ ጥቂት አቅራቢዎች ከዚህ ንድፍ ጋር አለመስማማታቸው፣ እና አንድ የተሳሳተ መስመር ከስልጠና ውሂብ ፈንታ ከAI መልሶች ሊያስወጣዎት መቻሉ ነው።
በዚህ ገጽ ላይ
በስልጠና ክሮውለር እና በፍለጋ ክሮውለር መካከል ያለው ልዩነት ምንድን ነው?
የስልጠና ክሮውለር የAI ሞዴሎችን ለመገንባት ወይም ለማሻሻል ሊውሉ የሚችሉ ገጾችን ይሰበስባል። ስልጠና በራሱ ጥቅስ ወይም አገናኝ አያስገኝም። የፍለጋ ክሮውለር የAI ረዳት ለመልስ ምንጮችን ለማግኘት የሚጠቀምበትን index ይገነባል፣ ሊጠቅሳቸው የሚችለውም እነዚያን ምንጮች ነው። በተጠቃሚ የሚቀሰቀስ fetcher አንድ ሰው ስለ ገጹ ስለጠየቀ ገጹን በቅጽበት ይከፍታል።
አቅራቢዎቹ እነዚህን ሚናዎች ለየብቻ ይገልጻሉ፣ ቅንብሮቹም እርስ በርሳቸው ነጻ እንደሆኑ ይናገራሉ። ለምሳሌ OpenAI ለክሮውለሮቹ ያለው እያንዳንዱ የrobots.txt ቅንብር ከሌሎቹ ነጻ እንደሆነ ይናገራል። ስለዚህ በትክክል የተደረገ ከስልጠና መውጣት በፍለጋ ውስጥ መታየትዎን አይነካም።
የትኞቹ tokens ስልጠናን፣ የትኞቹስ ፍለጋን ይቆጣጠራሉ?
አቅራቢዎቹ የሚገልጿቸው tokens እነዚህ ናቸው፣ በሚቆጣጠሩት ነገር ተመድበው፦
- OpenAI፦
GPTBotመሠረታዊ ሞዴሎቹን ለማሰልጠን ሊውል የሚችል ይዘት ይሰበስባል።OAI-SearchBotለChatGPT ፍለጋ ነው፣ChatGPT-Userደግሞ የተጠቃሚ ድርጊቶችን ያስተናግዳል፤ OpenAI robots.txt በእሱ ላይ ላይተገበር እንደሚችል ይናገራል። - Anthropic፦
ClaudeBotለስልጠና አስተዋጽኦ ሊያደርግ የሚችል ይዘት ይሰበስባል።Claude-SearchBotየClaude የፍለጋ ውጤቶችን ያሻሽላል፣Claude-Userደግሞ ለተጠቃሚዎች ገጾችን ያመጣል። Anthropic ቦቶቹ robots.txtን እንደሚያከብሩ ይናገራል። - Google፦
Google-Extendedየራሱ ክሮውለር የሌለው የrobots.txt token ነው። የወደፊት የGemini ሞዴሎችን ለማሰልጠን እና ለGemini Apps እና Vertex AI grounding መጠቀምን ይቆጣጠራል። Google በGoogle Search ውስጥ መካተትን ወይም ደረጃን እንደማይነካ ይናገራል፤ ያ የሚቆጣጠረው በGooglebotነው። - Apple፦
Applebot-Extendedክሮውል አያደርግም፤ በApplebotየተሰበሰበ ይዘት የApple መሠረታዊ ሞዴሎችን ለማሰልጠን ይውል እንደሆነ ይቆጣጠራል። Apple እሱን የሚከለክሉ ገጾች አሁንም በፍለጋ ውጤቶቹ ውስጥ ሊታዩ እንደሚችሉ ይናገራል። - Meta፦
meta-externalagentእንደ መሠረታዊ ሞዴሎችን ማሰልጠን ላሉ ጥቅሞች ክሮውል ያደርጋል፣meta-webindexerደግሞ የMeta AI የፍለጋ ውጤቶችን ያሻሽላል። - Common Crawl፦
CCBotየCommon Crawlን የሕዝብ የድር ማኅደር ይገነባል። የCloudflare managed robots.txt ከሚከለክላቸው የAI ስልጠና ክሮውለሮች መካከል ይዘረዝረዋል። - Perplexity፦
PerplexityBotእናPerplexity-Userየፍለጋ እና የተጠቃሚ ጥያቄዎችን ያገለግላሉ። Perplexity አንዳቸውም የስልጠና ውሂብ ለመሰብሰብ እንደማይውሉ ይናገራል፣ ስለዚህ የሚታገድ የPerplexity የስልጠና token የለም።
robots.txt ምን ይመስላል?
በRFC 9309 መሠረት በተከታታይ ያሉ በርካታ የUser-agent መስመሮች አንድ ቡድን ይመሠርታሉ፣ ስለዚህ ደንቦቹ በእያንዳንዳቸው ላይ ይተገበራሉ። ይህ ፋይል ከላይ ካሉት የስልጠና tokens ይወጣል፣ የፍለጋ እና የተጠቃሚ ወኪሎችን ይፈቅዳል፣ እና አንድ የግል path ለሁሉም ዝግ ያደርጋል፦
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ሁለት ዝርዝሮች አስፈላጊ ናቸው። አንደኛ፣ የተሰየመ ቡድን ከ* አይወርስም፣ ስለዚህ ማንኛውም የግል paths በፍለጋ ቡድኑ ውስጥ መደገም አለባቸው። ሁለተኛ፣ Googlebotን ወይም Applebotን በስልጠና ቡድኑ ውስጥ አይጨምሩ፦ እነሱ የፍለጋ ክሮውለሮች ናቸው፣ እነሱን ማገድም ከGoogle Search እና ከApple የፍለጋ ባህሪያት ያስወጣዎታል። ለውጦች ወዲያውኑ አይሠሩም፦ OpenAI ለፍለጋ 24 ሰዓት ገደማ ይላል፣ Perplexity ደግሞ እስከ 24 ሰዓታት ይላል።
ይህን ቀድሞውኑ የሚያደርጉት ስንት ድረ-ገጾች ናቸው?
ከሚጠብቁት ያነሱ። በ2026-11-12 በTranco ዝርዝር ላይ በጣም ተወዳጅ የሆኑ 1,000 domains የrobots.txt ፋይሎችን አንብበናል። robots.txt ካቀረቡት 518ቱ መካከል 155ቱ (29.9%) መነሻ ገጹን ቢያንስ ለአንድ የAI ስልጠና ክሮውለር ይከለክላሉ። የተመረጠውን መንገድ የሚከተሉት 57ቱ (11.0%) ብቻ ናቸው፦ የስልጠና ክሮውለሮችን ያግዳሉ፣ የፈተሽናቸውን ሁሉንም የAI ፍለጋ እና የተጠቃሚ ክሮውለሮች ደግሞ ይፈቅዳሉ። በአጠቃላይ 101 ድረ-ገጾች (19.5%) ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክሮውለር ያግዳሉ።
በየክሮውለሩ ያሉት ቁጥሮች ተመሳሳዩን ክፍፍል ያሳያሉ። GPTBot በ111 ድረ-ገጾች (21.4%)፣ OAI-SearchBot ደግሞ በ58 (11.2%) ላይ ታግዷል። ClaudeBot በ110 (21.2%)፣ Claude-SearchBot በ67 (12.9%) ላይ ታግዷል። Google-Extended በ94 (18.1%)፣ Googlebot በ14 (2.7%) ላይ ታግዷል። Content-Signalን የሚጠቀሙት 18 ድረ-ገጾች (3.5%) ብቻ ናቸው።
ጥናቱ የሚመለከተው ለመነሻ ገጹ ያሉትን የrobots.txt ደንቦች ብቻ ነው። የፋየርዎል እገዳዎችን አይለካም፣ እያንዳንዱ ድረ-ገጽ ምን አስቦ እንደነበረም አያሳይም።
Content-Signal ምን ይጨምራል?
Content Signals በCloudflare በcontentsignals.org የታተመ የrobots.txt ቅጥያ ነው። የContent-Signal መስመር ይዘት እንዴት ጥቅም ላይ ሊውል እንደሚችል በሦስት ምልክቶች ይገልጻል፦ search (የፍለጋ index መገንባት እና አገናኞችን እና አጫጭር ቅንጭቦችን ማሳየት)፣ ai-input (ይዘትን በቅጽበት ወደ AI ሞዴሎች ማስገባት፣ ለምሳሌ ለሚመነጩ መልሶች grounding ወይም retrieval) እና ai-train (ሞዴሎችን ማሰልጠን ወይም fine-tuning)።
የsearch ፍቺ በAI የሚመነጩ የፍለጋ ማጠቃለያዎችን እንደማያካትት ልብ ይበሉ። በAI መልሶች ውስጥ መታየት ከፈለጉ፣ ከላይ ባለው ምሳሌ እንደተደረገው ai-input=yesንም ያዘጋጁ። የCloudflare managed robots.txt በነባሪ search=yes, ai-train=no ይጨምራል፤ የሚተዉት ምልክት ያንን ጥቅም አይፈቅድም፣ አይገድብምም።
እነዚህ የተገለጹ ምርጫዎች ናቸው። የContent Signals ድረ-ገጽ በቴክኒካዊ ደረጃ ክሮውሊንግን እንደማይከለክሉ ይናገራል፣ Cloudflare ደግሞ robots.txtን ማክበር በፈቃደኝነት እንደሆነ ያስታውሳል። ከፈተሽናቸው የOpenAI፣ Anthropic፣ Google ወይም Perplexity የክሮውለር ገጾች አንዳቸውም Content-Signalን ያነቡ እንደሆነ አይገልጹም፣ ስለዚህ ለእያንዳንዱ ክሮውለር ከሚሆኑ ቡድኖች ተጨማሪ እንጂ ምትክ አድርገው አይውሰዱት።
ክፍፍሉ በንጽህና የማይሠራው የት ነው?
ጥቂት ሁኔታዎች ጥንቃቄ ያስፈልጋቸዋል፦
- Google AI Overviews እና AI Mode
Googlebotበሚገነባው የSearch index ላይ ይመሠረታሉ፣ ስለዚህGoogle-Extendedከእነሱ አያስወጣዎትም። የGoogle Search Console እርዳታGoogle-ExtendedከSearch የሚመነጩ የAI ባህሪያት ጀርባ ያሉትን ሞዴሎች ስልጠና እንደሚገድብ ይጨምራል፤ ይህን ወሰን የክሮውለር ሰነዶቹ አይጠቅሱትም። Google አሁን ድረ-ገጽን ከAI Overviews እና AI Mode ለማስወጣት የተለየ የSearch Console ቅንብር ያቀርባል። - OpenAI አንድ ድረ-ገጽ ሁለቱንም
GPTBotእናOAI-SearchBotከፈቀደ፣ የአንድን ክሮውል ውጤቶች ለሁለቱም ዓላማዎች ሊጠቀም እንደሚችል ይናገራል። ይዘት ለስልጠና መዋል እንደሌለበት የሚያመለክተውGPTBotን መከልከል ነው። - ከስልጠና መውጣት ወደፊትን ይመለከታል። ለምሳሌ Anthropic
ClaudeBotን መከልከልን የድረ-ገጽዎን የወደፊት ይዘት ከስልጠና የውሂብ ስብስቦች ማግለል ብሎ ይገልጸዋል። - በተጠቃሚ የሚቀሰቀሱ fetchers በመሃል ላይ ናቸው። OpenAI እና Perplexity robots.txt በ
ChatGPT-Userላይ ላይተገበር እንደሚችል እና በPerplexity-Userላይ በአጠቃላይ እንደማይተገበር ይናገራሉ። - ፋየርዎሎች robots.txtን አያነቡም። ሰፊ የቦት ማገጃ ደንብ የፈቀዷቸውን የፍለጋ ክሮውለሮች ሊያስቆም ይችላል። የስልጠና እገዳውን በፋየርዎል ላይ የሚያስፈጽሙ ከሆነ፣ የስልጠና ወኪሎቹን በስም ያዛምዱ እና በታተሙ IP ክልሎቻቸው ያረጋግጡ።
ክፍፍሉ መሥራቱን እንዴት አረጋግጣለሁ?
robots.txtዎን እያንዳንዱ ክሮውለር እንደሚያነበው ያንብቡ፦ የሚሰይመውን ቡድን ይፈልጉ፣ ምንም ከሌለ ብቻ ወደ * ይመለሱ፣ እና ረጅሙን የሚዛመድ ደንብ ይተግብሩ። ከዚያ በእያንዳንዱ የፍለጋ ክሮውለር user agent ገጽ ይጠይቁ እና 403 ወይም የchallenge ገጽ ሳይሆን ሙሉውን ይዘት የያዘ 200 ማግኘቱን ያረጋግጡ።
AISeeWhy ሁለቱንም ለ14 ክሮውለሮች፣ እንደ ስልጠና፣ ፍለጋ እና የተጠቃሚ ወኪሎች ተመድበው ያደርጋል፣ እና በጣም የተለመደውን ስህተት ያመለክታል፦ ስልጠናን ለማገድ አስቦ እንደ PerplexityBot ወይም Claude-SearchBot ያለ የፍለጋ token ማገድ።
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
GPTBotን ማገድ ድረ-ገጼን ከChatGPT መልሶች ያስወጣዋል?
አያስወጣውም። OpenAI GPTBot ለስልጠና እንደሆነ እና እያንዳንዱ የrobots.txt ቅንብር ነጻ እንደሆነ ይናገራል። የChatGPT ፍለጋ OAI-SearchBotን ይጠቀማል፤ እሱ እስከተፈቀደ እና በፋየርዎልዎ እስካልታገደ ድረስ ገጾችዎ ብቁ ሆነው ይቆያሉ።
Google-Extendedን ማገድ ከAI Overviews ያስወጣኛል?
በGoogle ሰነዶች መሠረት አያስወጣዎትም። Google Google-Extended በGoogle Search ውስጥ መካተትን እንደማይነካ ይናገራል፣ AI Overviews ደግሞ በSearch index ላይ ይመሠረታሉ። Google ድረ-ገጽን ከAI Overviews እና AI Mode ለማስወጣት የተለየ የSearch Console መቆጣጠሪያ ያቀርባል።
ሁሉንም የAI ስልጠና የሚያግድ አንድ መስመር አለ?
ደረጃውን የጠበቀ እንደዚህ ያለ መስመር የለም። Content-Signal: ai-train=no ምርጫውን ለሁሉም ክሮውለሮች ይገልጻል፣ ነገር ግን ክሮውለሩ ያከብረው እንደሆነ በኦፕሬተሩ ላይ የተመሠረተ ነው። ለእያንዳንዱ የስልጠና token የተሰየሙ ቡድኖች የተገለጸው መንገድ ናቸው።
የAI ስልጠናን ለማስቆም Perplexityን ማገድ አለብኝ?
Perplexity ወኪሎቹ የስልጠና ውሂብ ለመሰብሰብ እንደማይውሉ ይናገራል። PerplexityBotን ማገድ ከስልጠና የመውጣት ዓላማን ሳያሳካ በPerplexity የፍለጋ ውጤቶች ውስጥ መታየትዎን ይቀንሳል።
ምንጮች
- OpenAI: የOpenAI ክሮውለሮች አጠቃላይ እይታ
- Anthropic: Anthropic ከድር ውሂብ ይሰበስባል? የድረ-ገጽ ባለቤቶች ክሮውለሩን እንዴት ሊያግዱ ይችላሉ?
- Google: የተለመዱ ክሮውለሮች፣ Google-Extendedን ጨምሮ
- Google Search Console እርዳታ: የSearch generative AI መቆጣጠሪያ
- Apple: ስለ Applebot
- Meta: የMeta የድር ክሮውለሮች
- Common Crawl: CCBot
- Perplexity: የPerplexity ክሮውለሮች
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt እና Content Signals
- AISeeWhy: የAI ክሮውለር መዳረሻ ሪፖርት፣ 2026-11