Ano ang Content-Signal sa robots.txt, at may sumusunod ba rito?

Inilathala

Maikling sagot

Ang Content-Signal ay opsyonal na linya sa robots.txt, na inilathala ng Cloudflare, na nagsasabi kung paano puwedeng gamitin ang content mo pagkatapos itong kunin: search para sa mga search result, ai-input para ipasok ito sa mga AI answer at ai-train para sa pag-train ng mga model, bawat isa ay nakatakda sa yes o no, gaya ng Content-Signal: search=yes, ai-input=yes, ai-train=no. Nagpapahayag ito ng kagustuhan at walang bina-block. Hanggang Nobyembre 2026, wala sa mga crawler page ng OpenAI, Anthropic, Google o Perplexity ang nagsasabing binabasa nila ito, habang sinuportahan ng malalaking AI company ang ibang token na para lang sa training.

Ginawa ang robots.txt para sabihin kung saan puwedeng pumunta ang crawler, hindi kung ano ang puwedeng gawin sa binabasa nito. Nang kayang pakainin ng iisang fetch ang search index, ang live na AI answer at ang training set, naging mahalaga ang puwang na iyon. Inilathala ng Cloudflare ang Content Signals Policy noong 24 Setyembre 2025 sa ilalim ng CC0 license para punan ito, at sinabi noon na na-on na ng mga customer nito ang managed robots.txt para sa mahigit 3.8 milyong domain, isang feature na ngayon ay nagdadagdag ng linya para sa kanila.

Sa pahinang ito
  1. Ano ang ibig sabihin ng search, ai-input at ai-train?
  2. Paano ko isusulat ang linyang Content-Signal sa robots.txt?
  3. Ano ang sinasabi ng policy text sa itaas ng linya?
  4. Nasa robots.txt ko na ba ang Content-Signal?
  5. Sinusunod ba ng mga AI crawler ang Content-Signal?
  6. Dapat ko bang idagdag ang Content-Signal sa robots.txt ko?
  7. Paano ko masusuri kung ano ang sinasabi ng robots.txt ko sa bawat crawler?

Ano ang ibig sabihin ng search, ai-input at ai-train?

Tatlong signal ang dinedepina ng policy. Sinusundan ng mga salita sa ibaba ang contentsignals.org at ang policy text na inilalathala ng Cloudflare:

Tumatanggap ang bawat signal ng yes o no. Sa mga termino ng policy, ang yes ay nangangahulugang puwedeng kolektahin ang content para sa gamit na iyon, ang no ay hindi puwede, at ang signal na hindi mo isinama ay hindi nagbibigay o naglilimita sa gamit na iyon. Itinatakda ng default ng Cloudflare ang search at ai-train at iniiwang walang value ang ai-input, dahil sabi nito ay hindi nito alam ang kagustuhan ng bawat customer para sa signal na iyon at ayaw nitong manghula.

Ang paghihiwalay ng search at ai-input ang madalas makaligtaan. Kung gusto mong magamit ang mga pahina mo sa mga AI answer, hindi iyon sinasabi ng search=yes lang. Ang ai-input=yes ang nagsasabi nito.

Paano ko isusulat ang linyang Content-Signal sa robots.txt?

Inilalagay ang Content-Signal sa loob ng isang user agent group, katabi ng Allow at Disallow, at pinaghihiwalay ng kuwit ang mga signal. Nagpapakita rin ang contentsignals.org ng anyong nagsisimula sa path, para magkaroon ang isang bahagi ng site ng ibang signal kaysa sa iba:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Gumagana pa rin nang eksakto gaya ng dati ang Allow at Disallow, at hindi sila pinapalitan ng Content-Signal. Pinapayagan ng RFC 9309 ang mga crawler na bigyang-kahulugan ang mga record na hindi bahagi ng protocol, basta hindi ito nakakasagabal sa mga dinepinang rule, kaya dapat laktawan ito ng parser na hindi nakakakilala sa linya.

Dalawang detalye ang dapat malaman. Una, kabilang ang linya sa isang grupo. Ayon sa RFC 9309, ang crawler na may grupong may sarili nitong pangalan ay hindi na papansin nang buo ang grupong User-agent: *, at walang inilalarawang eksepsiyon ang mga pahina ng Content Signals para sa linyang ito. Kung bibigyan mo ang Googlebot o OAI-SearchBot ng sarili nilang grupo, ulitin doon ang linyang Content-Signal, gaya ng ginagawa ng contentsignals.org sa halimbawa nito para sa bawat crawler. Ikalawa, puwedeng mag-ulat ang Google Search Console ng Syntax not understood para sa linya. Binabanggit ito ng documentation ng Cloudflare at sinasabing wala itong napansing epekto sa crawling o SEO. Inililista lang ng robots.txt documentation ng Google ang user-agent, allow, disallow at sitemap bilang mga sinusuportahang field.

Ano ang sinasabi ng policy text sa itaas ng linya?

Higit pa sa isang linya ang Content Signals Policy. Parehong naglalagay ng block ng mga comment sa itaas ng mga signal ang generator ng Cloudflare sa contentsignals.org at ang managed robots.txt nito. Nagsisimula ito sa pagsasabing, bilang kondisyon ng pag-access sa website, sumasang-ayon kang sumunod sa mga content signal, saka dinedepina ang tatlong signal at ang mga kasong yes, no at walang value.

Nagtatapos ito sa isang pangungusap na naka-capital letters na nagsasabing ang anumang restriksyong ipinahayag sa pamamagitan ng mga content signal ay tahasang reserbasyon ng mga karapatan sa ilalim ng Article 4 ng EU Directive 2019/790 tungkol sa copyright sa Digital Single Market. Idinagdag ng anunsyo ng Cloudflare na puwedeng may legal na bigat ang mga signal sa iba't ibang hurisdiksyon.

Nagbababala mismo ang contentsignals.org na puwedeng magpasya ang mga korte at regulator na hindi nagpapataw ng maipapatupad na legal na obligasyon ang mga robots.txt file, at iminumungkahi nitong kumonsulta sa abogado. Ituring ang comment block bilang nakasulat na pahayag ng posisyon mo, hindi bilang kontrata.

Nasa robots.txt ko na ba ang Content-Signal?

Kung nasa Cloudflare ang site mo, puwedeng oo, sa isa sa dalawang paraan:

Bago ang bahaging use=reference. Inilalarawan ng Cloudflare ang use bilang opsyonal na ikaapat na field na sinusubukan nito, na may tatlong value: immediate (makipag-ugnayan, pero walang itatabi o gagamitin ulit), reference (i-index, sipiin at mag-link pabalik) at full (i-summarize at kopyahin). Hindi ito isa sa tatlong orihinal na signal, at wala sa mga crawler documentation na sinuri namin ang bumabanggit dito.

Dahil idinadagdag ng Cloudflare ang mga linyang ito sa edge, puwedeng mukhang hindi nagbago ang file sa repository mo habang iba ang file na natatanggap ng mga crawler. Kunin ang live na https://yourdomain.com/robots.txt bago idagdag ang sarili mong linya, para hindi magpahayag ang response ng dalawang magkaibang policy.

Mababa pa ang paggamit nito sa malalaking site. Sa pag-aaral namin noong Nobyembre 2026 sa 1,000 pinakasikat na domain, sa 518 site na may robots.txt, 18 (3.5%) ang gumamit ng Content-Signal.

Sinusunod ba ng mga AI crawler ang Content-Signal?

Hindi, ayon sa anumang documentation na nahanap namin. Noong 17 Nobyembre 2026, sinuri namin ang mga crawler page ng OpenAI, Anthropic, Google at Perplexity, at wala sa kanila ang bumabanggit sa Content-Signal. Inilalarawan mismo ng Cloudflare ang mga signal bilang mga kagustuhan, hindi teknikal na panlaban sa scraping, at sinasabing puwedeng basta hindi pansinin ng ilang kumpanya ang mga ito.

Ang dinokumento ng mga AI company sa halip ay hiwalay na mekanismong batay sa gawain ng IETF AI Preferences working group: isang policy token, __usage_ai-training, na isinusulat bilang ordinaryong grupong User-Agent. Training lang ang saklaw nito, at sabi ng Internet-Draft na nagdedepina rito na hindi binibilang na paggamit ng token ang grupong User-Agent: *:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Hindi pantay ang suporta at bahagyang darating pa lang. Sabi ng Anthropic, kinikilala na nito ang isang pangkalahatang machine-readable na training signal mula 30 Oktubre 2026, unti-unti itong inilalabas, at mas inuuna ang rule na nagbabanggit sa ClaudeBot. Dinodokumento ng Microsoft ang token na __usage_ai-training para sa Bing, at magkakabisa ang mga bagong kagustuhan nito habang kinu-crawl ang mga pahina mula 1 Pebrero 2027. Sabi ng Google, layunin nitong suportahan ang shared control sa 2027 at plano nitong ituring ang training opt-out sa pamamagitan nito bilang disallow ng Google-Extended kapag hindi binanggit ang token na iyon. Naglathala ang OpenAI ng anunsyo sa parehong araw na nagsasabing susundin nito ang shared signal, nang walang petsa.

Kaya magkahawig ang sinasabi ng ai-train=no at __usage_ai-training, pero ang ikalawa lang ang may dokumentadong suporta mula sa mga AI company. Ang mga token ng bawat crawler, gaya ng GPTBot at ClaudeBot, pa rin ang mga control na inilalapat ng bawat vendor ngayon.

Dapat ko bang idagdag ang Content-Signal sa robots.txt ko?

Idagdag ito kung gusto mong nakasulat ang usage policy mo sa iisang lugar na mababasa ng mga makina at ng mga tao. Ipinapahayag din nito ang kagustuhan sa ai-input para sa bawat crawler sa iisang linya, na kaya lang ipahayag ng mga token ng vendor nang isa-isang crawler. Isang linya lang ang gastos, at nilalaktawan ito ng mga parser na hindi nakakakilala rito.

Huwag umasa rito lang. Para hindi maisama ang content sa training, i-disallow din ang mga dokumentadong training token, at isaalang-alang ang shared training token; inililista ng gabay namin sa pag-block ng AI training habang nananatili sa AI search ang mga token ng bawat vendor. Para sa anumang hindi pumapansin sa robots.txt, firewall rule lang ang nagpapatupad ng block.

Panghuli, tiyaking tugma ang linya sa iba pang bahagi ng file. Ang ai-input=no katabi ng grupong Allow para sa OAI-SearchBot o PerplexityBot ay nagpapadala ng magkasalungat na mensahe: pinapapasok mo ang mga AI search crawler habang sinasabing hindi puwedeng gamitin ng mga sagot nila ang kinukuha nila.

Paano ko masusuri kung ano ang sinasabi ng robots.txt ko sa bawat crawler?

Tumatanggap ang libreng robots.txt checker ng AISeeWhy ng address ng pahina o naka-paste na robots.txt at ipinapakita, para sa bawat AI at search crawler, kung puwedeng kunin ang pahinang iyon, kaya makukumpirma mo na ang live na file, kasama ang anumang idinagdag ng Cloudflare sa unahan, ay nagsasabi ng ibig mong sabihin. Gumagawa ng file ang libreng robots.txt generator mula sa mga pinili mo.

Mga libreng tool

Mga susunod na hakbang

Mga crawler sa artikulong ito

Mga madalas itanong

Bahagi ba ng robots.txt standard ang Content-Signal?

Hindi. Dinedepina ng RFC 9309 ang User-agent, Allow at Disallow at pinapayagan ang mga crawler na bigyang-kahulugan ang ibang record. Nagmula ang Content-Signal sa Content Signals Policy ng Cloudflare, na inilabas sa ilalim ng CC0 license. Hiwalay rito, gumagawa ang IETF AI Preferences working group ng sarili nitong rule na Content-Usage para sa robots.txt, na Internet-Draft pa lang at hindi pa standard.

Pinipigilan ba ng ai-train=no ang GPTBot o ClaudeBot?

Hindi, ayon sa dinodokumento ng mga vendor. Inilalarawan ng OpenAI at Anthropic ang kontrol sa pamamagitan ng mga robots.txt rule na nagbabanggit sa GPTBot at ClaudeBot, at wala sa mga crawler page nila ang bumabanggit sa Content-Signal. Para mag-opt out sa training sa alinman sa dalawa, i-disallow ang token ayon sa pangalan.

Ano ang pagkakaiba ng Content-Signal at __usage_ai-training?

Ang Content-Signal ay linya sa loob ng isang grupo at saklaw nito ang search, AI input at training. Ang __usage_ai-training ay policy token na ginagamit bilang sarili nitong grupong User-Agent at training lang ang saklaw. Naglathala ang Anthropic, Microsoft, Google at OpenAI ng mga pahayag tungkol sa shared training signal; wala sa kanila ang nagdodokumento ng Content-Signal.

Bakit sinasabi ng Google Search Console na Syntax not understood?

user-agent, allow, disallow at sitemap lang ang sinusuportahan ng robots.txt documentation ng Google, kaya puwedeng ma-flag ang ibang linya. Sabi ng Cloudflare, wala itong napansing epekto sa crawl rate o SEO mula sa mga report na ito.

Ano ang ibig sabihin ng use=reference?

Ito ay ikaapat na field na sinusubukan ng Cloudflare. Ang reference ay nangangahulugang i-index, sipiin at mag-link pabalik. Idinadagdag ito ng Cloudflare sa mga managed robots.txt file, at wala sa mga crawler documentation na sinuri namin ang bumabanggit dito.

Mga pinagmulan

Iba pang artikulo