Content-Signal በrobots.txt ውስጥ ምንድን ነው፣ የሚከተለውስ አለ?

የታተመበት

አጭር መልስ

Content-Signal በCloudflare የታተመ አማራጭ የrobots.txt መስመር ሲሆን ይዘትዎ ከመጣ በኋላ እንዴት ሊውል እንደሚችል ይገልጻል፦ search ለፍለጋ ውጤቶች፣ ai-input ወደ AI መልሶች ለማስገባት እና ai-train ሞዴሎችን ለማሠልጠን፣ እያንዳንዳቸው yes ወይም no ተደርገው፣ ለምሳሌ Content-Signal: search=yes, ai-input=yes, ai-train=no። ምርጫን ይገልጻል፣ ምንም አያግድም። ከኅዳር 2026 ጀምሮ ከOpenAI፣ Anthropic፣ Google ወይም Perplexity የክሮውለር ገጾች አንዳቸውም እንደሚያነቡት አይገልጹም፣ ትልልቆቹ የAI ኩባንያዎች ደግሞ በምትኩ ለስልጠና ብቻ የሆነ የተለየ tokenን ደግፈዋል።

robots.txt የተሠራው ክሮውለር የት መሄድ እንደሚችል ለመግለጽ እንጂ ባነበበው ነገር ምን ሊደረግ እንደሚችል ለመግለጽ አይደለም። አንድ ማምጣት የፍለጋ ኢንዴክስን፣ ቀጥታ የAI መልስን እና የስልጠና ስብስብን መመገብ ሲችል ያ ክፍተት አስፈላጊ ሆነ። Cloudflare እሱን ለመሙላት የContent Signals Policyን በ24 መስከረም 2025 በCC0 ፈቃድ አሳተመ፣ በዚያን ጊዜም ደንበኞቹ ከ3.8 ሚሊዮን በላይ ለሆኑ ዶሜኖች managed robots.txtን አስቀድመው እንዳበሩ ገለጸ፤ ይህ ባህሪ አሁን መስመሩን ለእነሱ ይጨምራል።

በዚህ ገጽ ላይ
  1. search፣ ai-input እና ai-train ምን ማለት ናቸው?
  2. በrobots.txt ውስጥ የContent-Signal መስመርን እንዴት እጽፋለሁ?
  3. ከመስመሩ በላይ ያለው የፖሊሲ ጽሑፍ ምን ይላል?
  4. Content-Signal አስቀድሞ በrobots.txtዬ ውስጥ አለ?
  5. AI ክሮውለሮች Content-Signalን ይከተላሉ?
  6. Content-Signalን ወደ robots.txtዬ መጨመር አለብኝ?
  7. robots.txtዬ ለእያንዳንዱ ክሮውለር ምን እንደሚል እንዴት እፈትሻለሁ?

search፣ ai-input እና ai-train ምን ማለት ናቸው?

ፖሊሲው ሦስት ምልክቶችን ይገልጻል። ከታች ያለው አገላለጽ contentsignals.orgን እና Cloudflare የሚያትመውን የፖሊሲ ጽሑፍ ይከተላል፦

እያንዳንዱ ምልክት yes ወይም no ይወስዳል። በፖሊሲው አገላለጽ yes ማለት ይዘቱ ለዚያ አጠቃቀም ሊሰበሰብ ይችላል፣ no ማለት አይችልም ማለት ነው፣ የሚተዉት ምልክት ደግሞ ያንን አጠቃቀም አይፈቅድም አይገድብምም። የCloudflare ነባሪ searchን እና ai-trainን ያዘጋጃል፣ ai-inputን ግን ሳይዘጋጅ ይተዋል፣ ምክንያቱም የእያንዳንዱን ደንበኛ ለዚያ ምልክት ያለውን ምርጫ እንደማያውቅ እና መገመት እንደማይፈልግ ይገልጻል።

ብዙ ሰዎች የሚስቱት የsearch እና የai-input ልዩነት ነው። ገጾችዎ በAI መልሶች ውስጥ እንዲውሉ ከፈለጉ፣ search=yes ብቻውን ይህንን አይገልጽም። ai-input=yes ይገልጻል።

በrobots.txt ውስጥ የContent-Signal መስመርን እንዴት እጽፋለሁ?

Content-Signal በuser agent ቡድን ውስጥ ከAllow እና ከDisallow ጎን ይገባል፣ ምልክቶቹም በኮማ ይለያሉ። contentsignals.org በpath የሚጀምር ቅርጽንም ያሳያል፣ ስለዚህ የድረ-ገጹ አንድ ክፍል ከቀሪው የተለዩ ምልክቶችን ሊይዝ ይችላል፦

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow እና Disallow ልክ እንደበፊቱ መሥራታቸውን ይቀጥላሉ፣ Content-Signal ደግሞ አይተካቸውም። RFC 9309 ክሮውለሮች የፕሮቶኮሉ አካል ያልሆኑ መዝገቦችን እንዲተረጉሙ ይፈቅዳል፣ በተገለጹት ደንቦች ላይ ጣልቃ እስካልገባ ድረስ፣ ስለዚህ መስመሩን የማያውቅ parser ሊዘለው ይገባል።

ማወቅ የሚገባቸው ሁለት ዝርዝሮች አሉ። በመጀመሪያ፣ መስመሩ የቡድን አካል ነው። በRFC 9309 መሠረት በራሱ ስም ቡድን ያለው ክሮውለር የUser-agent: * ቡድንን ሙሉ በሙሉ ችላ ይላል፣ የContent Signals ገጾች ደግሞ ለዚህ መስመር ምንም ልዩነት አይገልጹም። ለGooglebot ወይም ለOAI-SearchBot የራሳቸውን ቡድን ከሰጡ፣ contentsignals.org በእያንዳንዱ ክሮውለር ምሳሌው እንደሚያደርገው የContent-Signal መስመሩን እዚያ ይድገሙት። ሁለተኛ፣ Google Search Console ለመስመሩ Syntax not understood ሊዘግብ ይችላል። የCloudflare ሰነዶች ይህንን ይጠቅሳሉ፣ በክሮውሊንግ ወይም በSEO ላይ ምንም ተጽዕኖ እንዳላስተዋለም ይገልጻሉ። የGoogle የrobots.txt ሰነድ የሚደገፉ መስኮች ብሎ የሚዘረዝረው user-agent፣ allow፣ disallow እና sitemapን ብቻ ነው።

ከመስመሩ በላይ ያለው የፖሊሲ ጽሑፍ ምን ይላል?

የContent Signals Policy ከአንድ መስመር በላይ ነው። በcontentsignals.org ላይ ያለው የCloudflare ማመንጫ እና managed robots.txtኡ ሁለቱም ከምልክቶቹ በላይ የአስተያየቶች ብሎክ ያስቀምጣሉ። ድረ-ገጹን ለመድረስ እንደ ቅድመ ሁኔታ የcontent signalsን ለማክበር እንደሚስማሙ በመግለጽ ይከፈታል፣ ከዚያ ሦስቱን ምልክቶች እና የyes፣ የno እና የጎደሉ ጉዳዮችን ይገልጻል።

በcontent signals የሚገለጹ ማናቸውም ገደቦች በDigital Single Market ውስጥ ስለ ቅጂ መብት በወጣው EU Directive 2019/790 አንቀጽ 4 መሠረት ግልጽ የመብቶች ጥበቃ እንደሆኑ በሚገልጽ በትልልቅ ፊደላት በተጻፈ ዓረፍተ ነገር ያበቃል። የCloudflare ማስታወቂያ ምልክቶቹ በተለያዩ የሕግ ሥልጣኖች ሕጋዊ ክብደት ሊኖራቸው እንደሚችል ያክላል።

contentsignals.org ራሱ ፍርድ ቤቶች እና ተቆጣጣሪዎች robots.txt ፋይሎች ተፈጻሚ የሆኑ ሕጋዊ ግዴታዎችን እንደማይጥሉ ሊደመድሙ እንደሚችሉ ያስጠነቅቃል፣ ጠበቃ ማማከርንም ይጠቁማል። የአስተያየቶቹን ብሎክ እንደ ውል ሳይሆን የአቋምዎ የጽሑፍ መግለጫ አድርገው ይመልከቱት።

Content-Signal አስቀድሞ በrobots.txtዬ ውስጥ አለ?

ድረ-ገጽዎ በCloudflare ላይ ከሆነ፣ ከሁለት መንገዶች በአንዱ ሊኖር ይችላል፦

የuse=reference ክፍል አዲስ ነው። Cloudflare useን እየሞከረው ያለ አማራጭ አራተኛ መስክ ብሎ ይገልጸዋል፣ ሦስት እሴቶችም አሉት፦ immediate (መስተጋብር ማድረግ፣ ግን ምንም አለማከማቸት እና እንደገና አለመጠቀም)፣ reference (ኢንዴክስ ማድረግ፣ ቅንጭብ መውሰድ እና መልሶ ማገናኘት) እና full (ማጠቃለል እና እንደገና ማቅረብ)። ከሦስቱ የመጀመሪያ ምልክቶች አንዱ አይደለም፣ የፈተሽነው የትኛውም የክሮውለር ሰነድም አይጠቅሰውም።

Cloudflare እነዚህን መስመሮች በedge ላይ ስለሚጨምር፣ በrepositoryዎ ውስጥ ያለው ፋይል ያልተለወጠ ሊመስል ይችላል፣ ክሮውለሮች የሚቀበሉት ፋይል ግን የተለየ ነው። ምላሹ ሁለት የተለያዩ ፖሊሲዎችን እንዳይገልጽ የራስዎን መስመር ከመጨመርዎ በፊት በሥራ ላይ ያለውን https://yourdomain.com/robots.txt ያምጡ።

በትልልቅ ድረ-ገጾች ዘንድ ተቀባይነቱ አሁንም ዝቅተኛ ነው። በኅዳር 2026 በ1,000 በጣም ተወዳጅ ዶሜኖች ላይ ባደረግነው ጥናት፣ robots.txt ካቀረቡት 518 ድረ-ገጾች ውስጥ 18ቱ (3.5%) Content-Signalን ተጠቅመዋል።

AI ክሮውለሮች Content-Signalን ይከተላሉ?

ልናገኘው በቻልነው በማንኛውም ሰነድ መሠረት አይከተሉም። በ17 ኅዳር 2026 የOpenAI፣ የAnthropic፣ የGoogle እና የPerplexity የክሮውለር ገጾችን ፈትሸናል፣ አንዳቸውም Content-Signalን አይጠቅሱም። Cloudflare ራሱ ምልክቶቹን በscraping ላይ የሚደረጉ ቴክኒካዊ መከላከያዎች ሳይሆኑ ምርጫዎች ብሎ ይገልጻቸዋል፣ አንዳንድ ኩባንያዎችም በቀላሉ ችላ ሊሏቸው እንደሚችሉ ይናገራል።

የAI ኩባንያዎች በምትኩ የገለጹት በIETF AI Preferences working group ሥራ ላይ የተመሠረተ የተለየ ዘዴ ነው፦ እንደ ተራ የUser-Agent ቡድን የሚጻፍ የፖሊሲ token፣ __usage_ai-training። ስልጠናን ብቻ ይሸፍናል፣ እሱን የሚገልጸው Internet-Draft ደግሞ የUser-Agent: * ቡድን tokenኑን እንደመጠቀም እንደማይቆጠር ይገልጻል፦

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

ድጋፉ ያልተስተካከለ ሲሆን በከፊል ገና ወደፊት ነው። Anthropic ከ30 ኦክቶበር 2026 ጀምሮ አጠቃላይ በማሽን የሚነበብ የስልጠና ምልክትን እንደሚያውቅ፣ ቀስ በቀስ እያስተዋወቀው እንደሆነ፣ ClaudeBotን የሚሰይም ደንብ ደግሞ ከእሱ ቅድሚያ እንደሚያገኝ ይገልጻል። Microsoft የ__usage_ai-training tokenን ለBing ይገልጻል፣ አዲሶቹ ምርጫዎቹም ከ1 ፌብሩዋሪ 2027 ጀምሮ ገጾች ሲክሮውሉ ተግባራዊ ይሆናሉ። Google የጋራውን መቆጣጠሪያ በ2027 ለመደገፍ እንዳሰበ፣ በእሱ በኩል የሚደረግ ከስልጠና የመውጣት ምርጫን ደግሞ ያ token ባልተሰየመበት ጊዜ እንደ የGoogle-Extended መከልከል ለመውሰድ እንዳቀደ ይገልጻል። OpenAI በዚያው ቀን የጋራውን ምልክት እንደሚያከብር የሚገልጽ ማስታወቂያ አሳትሟል፣ ያለ ቀን።

ስለዚህ ai-train=no እና __usage_ai-training ተመሳሳይ ነገሮችን ይላሉ፣ ከAI ኩባንያዎች የተገለጸ ድጋፍ ያለው ግን ለሁለተኛው ብቻ ነው። እንደ GPTBot እና ClaudeBot ያሉ የእያንዳንዱ ክሮውለር tokens እያንዳንዱ አቅራቢ ዛሬ የሚተገብራቸው መቆጣጠሪያዎች ሆነው ይቀጥላሉ።

Content-Signalን ወደ robots.txtዬ መጨመር አለብኝ?

የአጠቃቀም ፖሊሲዎ ማሽኖችም ሰዎችም ሊያነቡት በሚችሉት አንድ ቦታ እንዲጻፍ ከፈለጉ ይጨምሩት። እንዲሁም ለእያንዳንዱ ክሮውለር የai-input ምርጫን በአንድ መስመር ይገልጻል፣ የአቅራቢዎቹ tokens ይህንን ሊገልጹ የሚችሉት በየክሮውለሩ ብቻ ነው። አንድ መስመር ብቻ ያስከፍላል፣ የማያውቁት parsers ደግሞ ይዘሉታል።

በእሱ ብቻ አይታመኑ። ይዘትን ከስልጠና ለማራቅ የተገለጹትን የስልጠና tokens ደግሞ ይከልክሉ፣ የጋራውን የስልጠና tokenም ያስቡበት፤ የAI ስልጠናን አግዶ በAI ፍለጋ ውስጥ ስለመቆየት ያለው መመሪያችን tokensን በየአቅራቢው ይዘረዝራል። robots.txtን ችላ ለሚል ማንኛውም ነገር እገዳን የሚያስፈጽመው የፋየርዎል ደንብ ብቻ ነው።

በመጨረሻም፣ መስመሩ ከቀሪው ፋይል ጋር እንደሚስማማ ያረጋግጡ። ለOAI-SearchBot ወይም ለPerplexityBot ካለ የAllow ቡድን ጎን ai-input=no የተደባለቁ መልእክቶችን ይልካል፦ የAI ፍለጋ ክሮውለሮችን ያስገባሉ፣ መልሶቻቸው ግን ያመጡትን ሊጠቀሙ እንደማይችሉ ይናገራሉ።

robots.txtዬ ለእያንዳንዱ ክሮውለር ምን እንደሚል እንዴት እፈትሻለሁ?

ነጻው የAISeeWhy robots.txt ፈታሽ የገጽ አድራሻ ወይም የተለጠፈ robots.txt ተቀብሎ ለእያንዳንዱ የAI እና የፍለጋ ክሮውለር ያ ገጽ ሊመጣ ይችል እንደሆነ ያሳያል፣ ስለዚህ በሥራ ላይ ያለው ፋይል፣ Cloudflare ከፊቱ ያስቀመጠውን ማንኛውንም ነገር ጨምሮ፣ ያሰቡትን እንደሚል ማረጋገጥ ይችላሉ። ነጻው የrobots.txt ማመንጫ ከምርጫዎችዎ ፋይል ይጽፋል።

ነጻ መሣሪያዎች

ቀጣይ እርምጃዎች

በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች

ተደጋግመው የሚጠየቁ ጥያቄዎች

Content-Signal የrobots.txt standard አካል ነው?

አይደለም። RFC 9309 User-agent፣ Allow እና Disallowን ይገልጻል፣ ክሮውለሮችም ሌሎች መዝገቦችን እንዲተረጉሙ ይፈቅዳል። Content-Signal የመጣው በCC0 ፈቃድ ከወጣው የCloudflare Content Signals Policy ነው። ለብቻው፣ የIETF AI Preferences working group ለrobots.txt የራሱን የContent-Usage ደንብ እያረቀቀ ነው፣ ይህም አሁንም Internet-Draft እንጂ standard አይደለም።

ai-train=no GPTBotን ወይም ClaudeBotን ያቆማል?

አቅራቢዎቹ እስከሚገልጹት ድረስ አያቆምም። OpenAI እና Anthropic GPTBotን እና ClaudeBotን በሚሰይሙ የrobots.txt ደንቦች የሚደረግ ቁጥጥርን ይገልጻሉ፣ የሁለቱም የክሮውለር ገጽ Content-Signalን አይጠቅስም። ከሁለቱም ጋር ከስልጠና ለመውጣት tokenኑን በስሙ ይከልክሉ።

በContent-Signal እና በ__usage_ai-training መካከል ያለው ልዩነት ምንድን ነው?

Content-Signal በቡድን ውስጥ ያለ መስመር ሲሆን ፍለጋን፣ የAI ግብዓትን እና ስልጠናን ይሸፍናል። __usage_ai-training እንደ የራሱ የUser-Agent ቡድን የሚያገለግል የፖሊሲ token ሲሆን ስልጠናን ብቻ ይሸፍናል። Anthropic፣ Microsoft፣ Google እና OpenAI ስለ ጋራው የስልጠና ምልክት መግለጫዎችን አሳትመዋል፤ አንዳቸውም Content-Signalን አይገልጹም።

Google Search Console ለምን Syntax not understood ይላል?

የGoogle የrobots.txt ሰነድ የሚደግፈው user-agent፣ allow፣ disallow እና sitemapን ብቻ ነው፣ ስለዚህ ሌሎች መስመሮች ሊጠቆሙ ይችላሉ። Cloudflare ከእነዚህ ሪፖርቶች በክሮውሊንግ ፍጥነት ወይም በSEO ላይ ምንም ተጽዕኖ እንዳላስተዋለ ይገልጻል።

use=reference ምን ማለት ነው?

Cloudflare እየሞከረው ያለ አራተኛ መስክ ነው። reference ማለት ኢንዴክስ ማድረግ፣ ቅንጭብ መውሰድ እና መልሶ ማገናኘት ማለት ነው። Cloudflare ወደ managed robots.txt ፋይሎች ይጨምረዋል፣ የፈተሽነው የትኛውም የክሮውለር ሰነድም አይጠቅሰውም።

ምንጮች

ተጨማሪ ጽሑፎች