Content-Signal katika robots.txt ni nini, na je, kuna anayeifuata?

Imechapishwa

Jibu fupi

Content-Signal ni mstari wa hiari katika robots.txt, uliochapishwa na Cloudflare, unaoeleza jinsi maudhui yako yanavyoweza kutumika baada ya kupakuliwa: search kwa matokeo ya utafutaji, ai-input kwa kuyaingiza katika majibu ya AI na ai-train kwa kufunza miundo, kila moja ikiwekwa kuwa yes au no, kama katika Content-Signal: search=yes, ai-input=yes, ai-train=no. Inaeleza upendeleo na haizuii chochote. Kufikia Novemba 2026, hakuna ukurasa wa crawler wa OpenAI, Anthropic, Google au Perplexity unaosema inaisoma, huku kampuni kubwa za AI zikiunga mkono badala yake tokeni nyingine ya mafunzo pekee.

robots.txt iliundwa kusema crawler inaweza kwenda wapi, si kinachoweza kufanywa na kile inachosoma. Upakuaji mmoja ulipoweza kulisha faharasa ya utafutaji, jibu la AI la moja kwa moja na seti ya mafunzo, pengo hilo likawa muhimu. Cloudflare ilichapisha Content Signals Policy tarehe 24 Septemba 2025 chini ya leseni ya CC0 ili kulijaza, na wakati huo ilisema wateja wake walikuwa tayari wamewasha robots.txt inayosimamiwa kwa zaidi ya vikoa milioni 3.8, kipengele ambacho sasa huwaongezea mstari huo.

Kwenye ukurasa huu
  1. search, ai-input na ai-train zinamaanisha nini?
  2. Nitaandikaje mstari wa Content-Signal katika robots.txt?
  3. Maandishi ya sera yaliyo juu ya mstari yanasema nini?
  4. Je, Content-Signal tayari iko katika robots.txt yangu?
  5. Je, crawler za AI hufuata Content-Signal?
  6. Je, niongeze Content-Signal kwenye robots.txt yangu?
  7. Nitakaguaje robots.txt yangu inaiambia nini kila crawler?

search, ai-input na ai-train zinamaanisha nini?

Sera hiyo inafafanua ishara tatu. Maneno yaliyo hapa chini yanafuata contentsignals.org na maandishi ya sera ambayo Cloudflare huchapisha:

Kila ishara huchukua yes au no. Kwa maneno ya sera, yes inamaanisha maudhui yanaweza kukusanywa kwa matumizi hayo, no inamaanisha hayawezi, na ishara unayoiacha haitoi wala haizuii matumizi hayo. Mpangilio wa msingi wa Cloudflare huweka search na ai-train na kuacha ai-input bila kuwekwa, kwa sababu inasema haijui upendeleo wa kila mteja kwa ishara hiyo na haitaki kubahatisha.

Tofauti kati ya search na ai-input ndiyo ambayo watu wengi huikosa. Ikiwa unataka kurasa zako zitumike katika majibu ya AI, search=yes pekee haisemi hivyo. ai-input=yes husema.

Nitaandikaje mstari wa Content-Signal katika robots.txt?

Content-Signal huwekwa ndani ya kikundi cha user agent, kando ya Allow na Disallow, ishara zikitenganishwa kwa koma. contentsignals.org pia inaonyesha muundo unaoanza na njia, ili sehemu moja ya tovuti iwe na ishara tofauti na sehemu nyingine:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow na Disallow zinaendelea kufanya kazi kama hapo awali, na Content-Signal haizibadilishi. RFC 9309 inaruhusu crawler kutafsiri rekodi ambazo si sehemu ya itifaki, mradi hilo haliingilii sheria zilizofafanuliwa, kwa hivyo kichanganuzi kisichoujua mstari huo kinapaswa kuuruka.

Mambo mawili yanafaa kujua. Kwanza, mstari ni sehemu ya kikundi. Kwa mujibu wa RFC 9309, crawler yenye kikundi chenye jina lake hupuuza kabisa kikundi cha User-agent: *, na kurasa za Content Signals hazielezi ubaguzi wowote kwa mstari huu. Ukiipa Googlebot au OAI-SearchBot kikundi chake, rudia mstari wa Content-Signal hapo, kama contentsignals.org inavyofanya katika mfano wake wa kila crawler. Pili, Google Search Console inaweza kuripoti Syntax not understood kwa mstari huo. Nyaraka za Cloudflare zinataja hili na kusema haijaona athari yoyote kwa upitiaji au SEO. Nyaraka za Google kuhusu robots.txt zinaorodhesha tu user-agent, allow, disallow na sitemap kama sehemu zinazoauniwa.

Maandishi ya sera yaliyo juu ya mstari yanasema nini?

Content Signals Policy ni zaidi ya mstari mmoja. Kizalishaji cha Cloudflare kwenye contentsignals.org na robots.txt yake inayosimamiwa vyote huweka kizuizi cha maoni juu ya ishara. Kinaanza kwa kusema kwamba, kama sharti la kufikia tovuti, unakubali kufuata content signals, kisha kinafafanua ishara tatu na hali za yes, no na ishara iliyoachwa.

Kinamalizika kwa sentensi ya herufi kubwa inayosema kwamba vikwazo vyovyote vinavyoelezwa kupitia content signals ni uhifadhi wa wazi wa haki chini ya Kifungu cha 4 cha Maagizo ya EU 2019/790 kuhusu hakimiliki katika Soko Moja la Kidijitali. Tangazo la Cloudflare linaongeza kwamba ishara hizo zinaweza kuwa na uzito wa kisheria katika mamlaka mbalimbali.

contentsignals.org yenyewe inaonya kwamba mahakama na wadhibiti wanaweza kuhitimisha kuwa faili za robots.txt haziweki wajibu wa kisheria unaoweza kutekelezwa, na inapendekeza kushauriana na wakili. Chukulia kizuizi cha maoni kama taarifa ya maandishi ya msimamo wako, si kama mkataba.

Je, Content-Signal tayari iko katika robots.txt yangu?

Ikiwa tovuti yako iko kwenye Cloudflare, inaweza kuwepo, kwa njia mojawapo kati ya mbili:

Sehemu ya use=reference ni mpya. Cloudflare inaeleza use kama sehemu ya nne ya hiari inayoijaribu, yenye thamani tatu: immediate (kuingiliana, lakini bila kuhifadhi wala kutumia tena chochote), reference (kuorodhesha, kunukuu kipande na kuunganisha kurudi) na full (kufupisha na kunakili). Si mojawapo ya ishara tatu za awali, na hakuna nyaraka za crawler tulizokagua zinazoitaja.

Kwa sababu Cloudflare huongeza mistari hii kwenye ukingo wa mtandao, faili iliyo katika hazina yako inaweza kuonekana haijabadilika huku faili ambayo crawler zinapokea ikiwa tofauti. Pakua https://yourdomain.com/robots.txt iliyo hai kabla ya kuongeza mstari wako, ili jibu lisieleze sera mbili tofauti.

Matumizi bado ni machache miongoni mwa tovuti kubwa. Katika utafiti wetu wa Novemba 2026 wa vikoa 1,000 maarufu zaidi, tovuti 18 kati ya 518 zilizotoa robots.txt (3.5%) zilitumia Content-Signal.

Je, crawler za AI hufuata Content-Signal?

Si kwa mujibu wa nyaraka zozote tulizoweza kupata. Tarehe 17 Novemba 2026 tulikagua kurasa za crawler za OpenAI, Anthropic, Google na Perplexity, na hakuna hata moja inayotaja Content-Signal. Cloudflare yenyewe inaeleza ishara hizo kama mapendeleo, si hatua za kiufundi dhidi ya uvunaji wa maudhui (scraping), na inasema baadhi ya kampuni huenda zikazipuuza tu.

Kile ambacho kampuni za AI zimeeleza badala yake ni utaratibu tofauti unaotokana na kazi ya kikundi kazi cha IETF AI Preferences: tokeni ya sera, __usage_ai-training, inayoandikwa kama kikundi cha kawaida cha User-Agent. Inahusu mafunzo pekee, na Internet-Draft inayoifafanua inasema kikundi cha User-Agent: * hakihesabiwi kama matumizi ya tokeni hiyo:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Uungaji mkono haulingani kati ya kampuni na sehemu yake bado inakuja. Anthropic inasema imetambua ishara ya jumla ya mafunzo inayosomeka na mashine tangu tarehe 30 Oktoba 2026, inaitekeleza hatua kwa hatua, na kwamba sheria inayotaja ClaudeBot inatangulia juu yake. Microsoft inaeleza tokeni ya __usage_ai-training kwa Bing, mapendeleo yake mapya yakianza kutumika kurasa zinapopitiwa kuanzia tarehe 1 Februari 2027. Google inasema inalenga kuunga mkono udhibiti huo wa pamoja mwaka 2027 na inapanga kuchukulia kujiondoa kwenye mafunzo kupitia udhibiti huo kama kuzuia Google-Extended wakati tokeni hiyo haijatajwa. OpenAI ilichapisha tangazo siku hiyohiyo ikisema itaheshimu ishara hiyo ya pamoja, bila tarehe.

Kwa hivyo ai-train=no na __usage_ai-training zinasema mambo yanayofanana, lakini ni ya pili pekee yenye uungaji mkono ulioelezwa na kampuni za AI. Tokeni za kila crawler, kama GPTBot na ClaudeBot, zinabaki kuwa udhibiti ambao kila mtoa huduma hutumia leo.

Je, niongeze Content-Signal kwenye robots.txt yangu?

Iongeze ikiwa unataka sera yako ya matumizi iandikwe mahali pamoja ambapo mashine na watu wanaweza kusoma. Pia inaeleza upendeleo wa ai-input kwa crawler zote katika mstari mmoja, jambo ambalo tokeni za watoa huduma zinaweza kueleza crawler moja baada ya nyingine tu. Inagharimu mstari mmoja, na vichanganuzi visivyoijua huiruka.

Usiitegemee peke yake. Ili kuweka maudhui nje ya mafunzo, zuia pia tokeni za mafunzo zilizoelezwa, na fikiria tokeni ya pamoja ya mafunzo; mwongozo wetu wa kuzuia mafunzo ya AI huku ukibaki katika utafutaji wa AI unaorodhesha tokeni kwa kila mtoa huduma. Kwa chochote kinachopuuza robots.txt, ni sheria ya firewall pekee inayotekeleza kizuizi.

Mwisho, hakikisha mstari unakubaliana na faili iliyobaki. ai-input=no kando ya kikundi cha Allow kwa OAI-SearchBot au PerplexityBot hutuma ujumbe unaopingana: unaziruhusu crawler za utafutaji wa AI kuingia huku ukisema majibu yao hayawezi kutumia kile zinachopakua.

Nitakaguaje robots.txt yangu inaiambia nini kila crawler?

Kikagua cha bure cha robots.txt cha AISeeWhy kinapokea anwani ya ukurasa au robots.txt iliyobandikwa na kuonyesha, kwa kila crawler ya AI na ya utafutaji, kama ukurasa huo unaweza kupakuliwa, ili uweze kuthibitisha kwamba faili iliyo hai, pamoja na chochote ambacho Cloudflare iliweka mwanzoni, inasema ulichokusudia. Kizalishaji cha bure cha robots.txt kinaandika faili kutokana na chaguo zako.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Je, Content-Signal ni sehemu ya kiwango cha robots.txt?

Hapana. RFC 9309 inafafanua User-agent, Allow na Disallow na inaruhusu crawler kutafsiri rekodi nyingine. Content-Signal inatoka Content Signals Policy ya Cloudflare, iliyotolewa chini ya leseni ya CC0. Kando na hilo, kikundi kazi cha IETF AI Preferences kinaandaa sheria yake ya Content-Usage kwa robots.txt, ambayo bado ni Internet-Draft, si kiwango.

Je, ai-train=no inazuia GPTBot au ClaudeBot?

Si kwa kadiri watoa huduma wanavyoeleza. OpenAI na Anthropic zinaeleza udhibiti kupitia sheria za robots.txt zinazotaja GPTBot na ClaudeBot, na hakuna ukurasa wa crawler kati yao unaotaja Content-Signal. Ili kujiondoa kwenye mafunzo kwa yoyote kati yao, zuia tokeni kwa jina lake.

Kuna tofauti gani kati ya Content-Signal na __usage_ai-training?

Content-Signal ni mstari ndani ya kikundi na unahusu utafutaji, ingizo la AI na mafunzo. __usage_ai-training ni tokeni ya sera inayotumika kama kikundi chake cha User-Agent na inahusu mafunzo pekee. Anthropic, Microsoft, Google na OpenAI zimechapisha taarifa kuhusu ishara ya pamoja ya mafunzo; hakuna hata moja inayoeleza Content-Signal.

Kwa nini Google Search Console inasema Syntax not understood?

Nyaraka za Google kuhusu robots.txt zinaauni user-agent, allow, disallow na sitemap pekee, kwa hivyo mistari mingine inaweza kualamishwa. Cloudflare inasema haijaona athari yoyote kwa kasi ya upitiaji au SEO kutokana na ripoti hizi.

use=reference inamaanisha nini?

Ni sehemu ya nne ambayo Cloudflare inaijaribu. reference inamaanisha kuorodhesha, kunukuu kipande na kuunganisha kurudi. Cloudflare huiongeza kwenye faili za robots.txt zinazosimamiwa, na hakuna nyaraka za crawler tulizokagua zinazoitaja.

Vyanzo

Makala zaidi