የAI ስልጠናን አግደው በAI ፍለጋ መልሶች ውስጥ እንዴት መቆየት ይቻላል

የታተመበት

አጭር መልስ

አብዛኞቹ የAI አቅራቢዎች ለሞዴል ስልጠና እና ለፍለጋ የተለያዩ የrobots.txt tokens ይጠቀማሉ። እንደ GPTBot፣ ClaudeBot፣ Google-Extended፣ Applebot-Extended፣ meta-externalagent እና CCBot ያሉትን የስልጠና tokens ይከልክሉ፣ እንደ OAI-SearchBot፣ Claude-SearchBot እና PerplexityBot ያሉትን የፍለጋ እና የተጠቃሚ tokens ደግሞ ይፍቀዱ። ተመሳሳዩን ምርጫ በቃላት ለመግለጽ የContent-Signal መስመር ይጨምሩ።

ብዙ የድረ-ገጽ ባለቤቶች ሁለት ነገሮችን በአንድ ጊዜ ይፈልጋሉ፦ ይዘታቸው የAI ሞዴሎችን ለማሰልጠን እንዲውል አይፈልጉም፣ የAI ረዳቶች ግን ገጾቻቸውን እንዲያገኙ፣ እንዲጠቅሱ እና እንዲያገናኙ ይፈልጋሉ። ዋና ዋናዎቹ አቅራቢዎች አሁን እነዚህን ሥራዎች በተለያዩ ክሮውለሮች ወይም tokens ስለሚከፍሉ፣ robots.txt ሁለቱንም ምርጫዎች መግለጽ ይችላል። ችግሩ ስሞቹ በአቅራቢዎች መካከል መለያየታቸው፣ ጥቂት አቅራቢዎች ከዚህ ንድፍ ጋር አለመስማማታቸው፣ እና አንድ የተሳሳተ መስመር ከስልጠና ውሂብ ፈንታ ከAI መልሶች ሊያስወጣዎት መቻሉ ነው።

በዚህ ገጽ ላይ
  1. በስልጠና ክሮውለር እና በፍለጋ ክሮውለር መካከል ያለው ልዩነት ምንድን ነው?
  2. የትኞቹ tokens ስልጠናን፣ የትኞቹስ ፍለጋን ይቆጣጠራሉ?
  3. robots.txt ምን ይመስላል?
  4. ይህን ቀድሞውኑ የሚያደርጉት ስንት ድረ-ገጾች ናቸው?
  5. Content-Signal ምን ይጨምራል?
  6. ክፍፍሉ በንጽህና የማይሠራው የት ነው?
  7. ክፍፍሉ መሥራቱን እንዴት አረጋግጣለሁ?

በስልጠና ክሮውለር እና በፍለጋ ክሮውለር መካከል ያለው ልዩነት ምንድን ነው?

የስልጠና ክሮውለር የAI ሞዴሎችን ለመገንባት ወይም ለማሻሻል ሊውሉ የሚችሉ ገጾችን ይሰበስባል። ስልጠና በራሱ ጥቅስ ወይም አገናኝ አያስገኝም። የፍለጋ ክሮውለር የAI ረዳት ለመልስ ምንጮችን ለማግኘት የሚጠቀምበትን index ይገነባል፣ ሊጠቅሳቸው የሚችለውም እነዚያን ምንጮች ነው። በተጠቃሚ የሚቀሰቀስ fetcher አንድ ሰው ስለ ገጹ ስለጠየቀ ገጹን በቅጽበት ይከፍታል።

አቅራቢዎቹ እነዚህን ሚናዎች ለየብቻ ይገልጻሉ፣ ቅንብሮቹም እርስ በርሳቸው ነጻ እንደሆኑ ይናገራሉ። ለምሳሌ OpenAI ለክሮውለሮቹ ያለው እያንዳንዱ የrobots.txt ቅንብር ከሌሎቹ ነጻ እንደሆነ ይናገራል። ስለዚህ በትክክል የተደረገ ከስልጠና መውጣት በፍለጋ ውስጥ መታየትዎን አይነካም።

የትኞቹ tokens ስልጠናን፣ የትኞቹስ ፍለጋን ይቆጣጠራሉ?

አቅራቢዎቹ የሚገልጿቸው tokens እነዚህ ናቸው፣ በሚቆጣጠሩት ነገር ተመድበው፦

robots.txt ምን ይመስላል?

በRFC 9309 መሠረት በተከታታይ ያሉ በርካታ የUser-agent መስመሮች አንድ ቡድን ይመሠርታሉ፣ ስለዚህ ደንቦቹ በእያንዳንዳቸው ላይ ይተገበራሉ። ይህ ፋይል ከላይ ካሉት የስልጠና tokens ይወጣል፣ የፍለጋ እና የተጠቃሚ ወኪሎችን ይፈቅዳል፣ እና አንድ የግል path ለሁሉም ዝግ ያደርጋል፦

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

ሁለት ዝርዝሮች አስፈላጊ ናቸው። አንደኛ፣ የተሰየመ ቡድን ከ* አይወርስም፣ ስለዚህ ማንኛውም የግል paths በፍለጋ ቡድኑ ውስጥ መደገም አለባቸው። ሁለተኛ፣ Googlebotን ወይም Applebotን በስልጠና ቡድኑ ውስጥ አይጨምሩ፦ እነሱ የፍለጋ ክሮውለሮች ናቸው፣ እነሱን ማገድም ከGoogle Search እና ከApple የፍለጋ ባህሪያት ያስወጣዎታል። ለውጦች ወዲያውኑ አይሠሩም፦ OpenAI ለፍለጋ 24 ሰዓት ገደማ ይላል፣ Perplexity ደግሞ እስከ 24 ሰዓታት ይላል።

ይህን ቀድሞውኑ የሚያደርጉት ስንት ድረ-ገጾች ናቸው?

ከሚጠብቁት ያነሱ። በ2026-11-12 በTranco ዝርዝር ላይ በጣም ተወዳጅ የሆኑ 1,000 domains የrobots.txt ፋይሎችን አንብበናል። robots.txt ካቀረቡት 518ቱ መካከል 155ቱ (29.9%) መነሻ ገጹን ቢያንስ ለአንድ የAI ስልጠና ክሮውለር ይከለክላሉ። የተመረጠውን መንገድ የሚከተሉት 57ቱ (11.0%) ብቻ ናቸው፦ የስልጠና ክሮውለሮችን ያግዳሉ፣ የፈተሽናቸውን ሁሉንም የAI ፍለጋ እና የተጠቃሚ ክሮውለሮች ደግሞ ይፈቅዳሉ። በአጠቃላይ 101 ድረ-ገጾች (19.5%) ቢያንስ አንድ የAI ፍለጋ ወይም የተጠቃሚ ክሮውለር ያግዳሉ።

በየክሮውለሩ ያሉት ቁጥሮች ተመሳሳዩን ክፍፍል ያሳያሉ። GPTBot በ111 ድረ-ገጾች (21.4%)፣ OAI-SearchBot ደግሞ በ58 (11.2%) ላይ ታግዷል። ClaudeBot በ110 (21.2%)፣ Claude-SearchBot በ67 (12.9%) ላይ ታግዷል። Google-Extended በ94 (18.1%)፣ Googlebot በ14 (2.7%) ላይ ታግዷል። Content-Signalን የሚጠቀሙት 18 ድረ-ገጾች (3.5%) ብቻ ናቸው።

ጥናቱ የሚመለከተው ለመነሻ ገጹ ያሉትን የrobots.txt ደንቦች ብቻ ነው። የፋየርዎል እገዳዎችን አይለካም፣ እያንዳንዱ ድረ-ገጽ ምን አስቦ እንደነበረም አያሳይም።

Content-Signal ምን ይጨምራል?

Content Signals በCloudflare በcontentsignals.org የታተመ የrobots.txt ቅጥያ ነው። የContent-Signal መስመር ይዘት እንዴት ጥቅም ላይ ሊውል እንደሚችል በሦስት ምልክቶች ይገልጻል፦ search (የፍለጋ index መገንባት እና አገናኞችን እና አጫጭር ቅንጭቦችን ማሳየት)፣ ai-input (ይዘትን በቅጽበት ወደ AI ሞዴሎች ማስገባት፣ ለምሳሌ ለሚመነጩ መልሶች grounding ወይም retrieval) እና ai-train (ሞዴሎችን ማሰልጠን ወይም fine-tuning)።

የsearch ፍቺ በAI የሚመነጩ የፍለጋ ማጠቃለያዎችን እንደማያካትት ልብ ይበሉ። በAI መልሶች ውስጥ መታየት ከፈለጉ፣ ከላይ ባለው ምሳሌ እንደተደረገው ai-input=yesንም ያዘጋጁ። የCloudflare managed robots.txt በነባሪ search=yes, ai-train=no ይጨምራል፤ የሚተዉት ምልክት ያንን ጥቅም አይፈቅድም፣ አይገድብምም።

እነዚህ የተገለጹ ምርጫዎች ናቸው። የContent Signals ድረ-ገጽ በቴክኒካዊ ደረጃ ክሮውሊንግን እንደማይከለክሉ ይናገራል፣ Cloudflare ደግሞ robots.txtን ማክበር በፈቃደኝነት እንደሆነ ያስታውሳል። ከፈተሽናቸው የOpenAI፣ Anthropic፣ Google ወይም Perplexity የክሮውለር ገጾች አንዳቸውም Content-Signalን ያነቡ እንደሆነ አይገልጹም፣ ስለዚህ ለእያንዳንዱ ክሮውለር ከሚሆኑ ቡድኖች ተጨማሪ እንጂ ምትክ አድርገው አይውሰዱት።

ክፍፍሉ በንጽህና የማይሠራው የት ነው?

ጥቂት ሁኔታዎች ጥንቃቄ ያስፈልጋቸዋል፦

ክፍፍሉ መሥራቱን እንዴት አረጋግጣለሁ?

robots.txtዎን እያንዳንዱ ክሮውለር እንደሚያነበው ያንብቡ፦ የሚሰይመውን ቡድን ይፈልጉ፣ ምንም ከሌለ ብቻ ወደ * ይመለሱ፣ እና ረጅሙን የሚዛመድ ደንብ ይተግብሩ። ከዚያ በእያንዳንዱ የፍለጋ ክሮውለር user agent ገጽ ይጠይቁ እና 403 ወይም የchallenge ገጽ ሳይሆን ሙሉውን ይዘት የያዘ 200 ማግኘቱን ያረጋግጡ።

AISeeWhy ሁለቱንም ለ14 ክሮውለሮች፣ እንደ ስልጠና፣ ፍለጋ እና የተጠቃሚ ወኪሎች ተመድበው ያደርጋል፣ እና በጣም የተለመደውን ስህተት ያመለክታል፦ ስልጠናን ለማገድ አስቦ እንደ PerplexityBot ወይም Claude-SearchBot ያለ የፍለጋ token ማገድ።

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

GPTBotን ማገድ ድረ-ገጼን ከChatGPT መልሶች ያስወጣዋል?

አያስወጣውም። OpenAI GPTBot ለስልጠና እንደሆነ እና እያንዳንዱ የrobots.txt ቅንብር ነጻ እንደሆነ ይናገራል። የChatGPT ፍለጋ OAI-SearchBotን ይጠቀማል፤ እሱ እስከተፈቀደ እና በፋየርዎልዎ እስካልታገደ ድረስ ገጾችዎ ብቁ ሆነው ይቆያሉ።

Google-Extendedን ማገድ ከAI Overviews ያስወጣኛል?

በGoogle ሰነዶች መሠረት አያስወጣዎትም። Google Google-Extended በGoogle Search ውስጥ መካተትን እንደማይነካ ይናገራል፣ AI Overviews ደግሞ በSearch index ላይ ይመሠረታሉ። Google ድረ-ገጽን ከAI Overviews እና AI Mode ለማስወጣት የተለየ የSearch Console መቆጣጠሪያ ያቀርባል።

ሁሉንም የAI ስልጠና የሚያግድ አንድ መስመር አለ?

ደረጃውን የጠበቀ እንደዚህ ያለ መስመር የለም። Content-Signal: ai-train=no ምርጫውን ለሁሉም ክሮውለሮች ይገልጻል፣ ነገር ግን ክሮውለሩ ያከብረው እንደሆነ በኦፕሬተሩ ላይ የተመሠረተ ነው። ለእያንዳንዱ የስልጠና token የተሰየሙ ቡድኖች የተገለጸው መንገድ ናቸው።

የAI ስልጠናን ለማስቆም Perplexityን ማገድ አለብኝ?

Perplexity ወኪሎቹ የስልጠና ውሂብ ለመሰብሰብ እንደማይውሉ ይናገራል። PerplexityBotን ማገድ ከስልጠና የመውጣት ዓላማን ሳያሳካ በPerplexity የፍለጋ ውጤቶች ውስጥ መታየትዎን ይቀንሳል።

ምንጮች

ተጨማሪ ጽሑፎች