Шта је Content-Signal у robots.txt-у и да ли га ико поштује?

Објављено

Кратак одговор

Content-Signal је опциони ред у robots.txt-у, који је објавио Cloudflare, а који наводи како ваш садржај сме да се користи након преузимања: search за резултате претраге, ai-input за убацивање у AI одговоре и ai-train за тренирање модела, сваки постављен на yes или no, као у Content-Signal: search=yes, ai-input=yes, ai-train=no. Изражава жељу и ништа не блокира. Од новембра 2026. ниједна страница о краулерима OpenAI-ја, Anthropic-а, Google-а или Perplexity-ја не каже да га чита, док су велике AI компаније уместо тога подржале други токен, само за тренирање.

robots.txt је направљен да каже где краулер сме да иде, а не шта сме да се ради са оним што прочита. Када је исто преузимање почело да храни индекс претраге, AI одговор уживо и скуп података за тренирање, та празнина је постала важна. Cloudflare је 24. септембра 2025. објавио Content Signals Policy под лиценцом CC0 да би је попунио и тада навео да су његови корисници већ укључили управљани robots.txt за више од 3,8 милиона домена, функцију која сада тај ред додаје уместо њих.

На овој страници
  1. Шта значе search, ai-input и ai-train?
  2. Како да напишем ред Content-Signal у robots.txt-у?
  3. Шта каже текст политике изнад тог реда?
  4. Да ли је Content-Signal већ у мом robots.txt-у?
  5. Да ли AI краулери поштују Content-Signal?
  6. Да ли да додам Content-Signal у свој robots.txt?
  7. Како да проверим шта мој robots.txt говори сваком краулеру?

Шта значе search, ai-input и ai-train?

Политика дефинише три сигнала. Формулације испод прате contentsignals.org и текст политике који Cloudflare објављује:

Сваки сигнал прима yes или no. У смислу политике, yes значи да садржај сме да се прикупља за ту намену, no значи да не сме, а сигнал који изоставите ту намену нити дозвољава нити ограничава. Cloudflare подразумевано поставља search и ai-train, а ai-input оставља непостављеним, јер, како наводи, не зна жељу сваког корисника за тај сигнал и не жели да погађа.

Разлику између search и ai-input већина људи превиди. Ако желите да се ваше странице користе у AI одговорима, само search=yes то не каже. ai-input=yes каже.

Како да напишем ред Content-Signal у robots.txt-у?

Content-Signal иде унутар групе за user agent, поред Allow и Disallow, са сигналима одвојеним зарезима. contentsignals.org приказује и облик који почиње путањом, па један део сајта може да има другачије сигнале од остатка:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow и Disallow раде потпуно као и раније, а Content-Signal их не замењује. RFC 9309 дозвољава краулерима да тумаче записе који нису део протокола, све док то не омета дефинисана правила, па парсер који не познаје тај ред треба да га прескочи.

Вреди знати два детаља. Прво, ред припада групи. Према RFC 9309 краулер који има групу са својим именом потпуно занемарује групу User-agent: *, а странице о Content Signals не описују никакав изузетак за овај ред. Ако Googlebot или OAI-SearchBot добију сопствену групу, поновите ред Content-Signal и тамо, као што contentsignals.org ради у свом примеру по краулеру. Друго, Google Search Console може за тај ред да пријави Syntax not understood. Cloudflare-ова документација то помиње и наводи да није приметио никакав утицај на преузимање ни SEO. Google-ова документација о robots.txt-у као подржана поља наводи само user-agent, allow, disallow и sitemap.

Шта каже текст политике изнад тог реда?

Content Signals Policy је више од једног реда. Cloudflare-ов генератор на contentsignals.org и његов управљани robots.txt изнад сигнала постављају блок коментара. Почиње изјавом да као услов за приступ сајту пристајете да поштујете content signals, затим дефинише три сигнала и случајеве yes, no и изостављеног сигнала.

Завршава се реченицом великим словима која каже да су сва ограничења изражена кроз content signals изричита резерва права према члану 4 Директиве ЕУ 2019/790 о ауторском праву на јединственом дигиталном тржишту. Cloudflare-ова најава додаје да сигнали могу да имају правну тежину у различитим јурисдикцијама.

Сам contentsignals.org упозорава да судови и регулатори могу да закључе да robots.txt фајлови не намећу правне обавезе које се могу спровести и предлаже да се посаветујете са адвокатом. Блок коментара третирајте као писану изјаву свог става, а не као уговор.

Да ли је Content-Signal већ у мом robots.txt-у?

Ако је ваш сајт на Cloudflare-у, можда јесте, на један од два начина:

Део use=reference је нов. Cloudflare описује use као опционо четврто поље које тестира, са три вредности: immediate (интеракција, али без чувања и поновне употребе), reference (индексирање, одломак и линк ка извору) и full (сажимање и репродукција). То није један од три првобитна сигнала, а ниједна документација о краулерима коју смо проверили га не помиње.

Пошто Cloudflare ове редове додаје на ивици мреже, фајл у вашем репозиторијуму може да изгледа непромењено, док је фајл који краулери добијају другачији. Пре него што додате сопствени ред, преузмите активни https://yourdomain.com/robots.txt, да одговор не би наводио две различите политике.

Међу великим сајтовима употреба је и даље ниска. У нашој студији 1.000 најпопуларнијих домена из новембра 2026, 18 од 518 сајтова који су служили robots.txt (3,5%) користило је Content-Signal.

Да ли AI краулери поштују Content-Signal?

Не према документацији коју смо могли да пронађемо. 17. новембра 2026. проверили смо странице о краулерима OpenAI-ја, Anthropic-а, Google-а и Perplexity-ја и ниједна не помиње Content-Signal. Сам Cloudflare сигнале описује као жеље, а не као техничке мере против преузимања садржаја, и наводи да их неке компаније можда једноставно занемаре.

Оно што су AI компаније уместо тога документовале је посебан механизам заснован на раду IETF радне групе AI Preferences: токен политике, __usage_ai-training, написан као обична група User-Agent. Покрива само тренирање, а Internet-Draft који га дефинише наводи да се група User-Agent: * не рачуна као употреба токена:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Подршка је неуједначена и делом тек долази. Anthropic наводи да од 30. октобра 2026. препознаје општи машински читљив сигнал за тренирање, да га уводи постепено и да правило које именује ClaudeBot има предност над њим. Microsoft документује токен __usage_ai-training за Bing, с тим да његове нове поставке ступају на снагу како се странице преузимају од 1. фебруара 2027. Google наводи да намерава да подржи заједничку контролу 2027. и да одјаву од тренирања кроз њу планира да третира као забрану за Google-Extended када тај токен није именован. OpenAI је истог дана објавио најаву да ће поштовати заједнички сигнал, без датума.

Дакле, ai-train=no и __usage_ai-training кажу сличне ствари, али само други има документовану подршку AI компанија. Токени по краулеру, као што су GPTBot и ClaudeBot, остају контроле које сваки добављач данас примењује.

Да ли да додам Content-Signal у свој robots.txt?

Додајте га ако желите да вам политика коришћења буде записана на једном месту које могу да прочитају и машине и људи. Он такође у једном реду изражава жељу за ai-input за сваки краулер, што токени добављача могу да изразе само краулер по краулер. Кошта један ред, а парсери који га не познају га прескачу.

Немојте се ослањати само на њега. Да бисте садржај задржали ван тренирања, забраните и документоване токене за тренирање и размотрите заједнички токен за тренирање; наш водич о блокирању AI тренирања уз останак у AI претрази наводи токене по добављачу. За све што занемарује robots.txt, блокаду спроводи само правило заштитног зида.

На крају, проверите да ли се ред слаже са остатком фајла. ai-input=no поред групе Allow за OAI-SearchBot или PerplexityBot шаље опречне поруке: пуштате AI краулере за претрагу, а истовремено кажете да њихови одговори не смеју да користе оно што преузму.

Како да проверим шта мој robots.txt говори сваком краулеру?

Бесплатна AISeeWhy провера robots.txt прима адресу странице или налепљен robots.txt и за сваки AI краулер и краулер претраживача приказује да ли та страница сме да се преузме, па можете да потврдите да активни фајл, укључујући све што је Cloudflare додао на почетак, каже оно што сте мислили. Бесплатни генератор robots.txt пише фајл према вашим изборима.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли је Content-Signal део стандарда robots.txt?

Не. RFC 9309 дефинише User-agent, Allow и Disallow и дозвољава краулерима да тумаче друге записе. Content-Signal потиче из Cloudflare-ове Content Signals Policy, објављене под лиценцом CC0. Одвојено од тога, IETF радна група AI Preferences припрема сопствено правило Content-Usage за robots.txt, које је још увек Internet-Draft, а не стандард.

Да ли ai-train=no зауставља GPTBot или ClaudeBot?

Не, колико добављачи документују. OpenAI и Anthropic описују контролу кроз robots.txt правила која именују GPTBot и ClaudeBot, а ниједна од њихових страница о краулерима не помиње Content-Signal. Да бисте се код било ког од њих одјавили од тренирања, забраните токен по имену.

Која је разлика између Content-Signal и __usage_ai-training?

Content-Signal је ред унутар групе и покрива претрагу, AI улаз и тренирање. __usage_ai-training је токен политике који се користи као сопствена група User-Agent и покрива само тренирање. Anthropic, Microsoft, Google и OpenAI су објавили изјаве о заједничком сигналу за тренирање; ниједан не документује Content-Signal.

Зашто Google Search Console пријављује Syntax not understood?

Google-ова документација о robots.txt-у подржава само user-agent, allow, disallow и sitemap, па други редови могу да буду означени. Cloudflare наводи да није приметио никакав утицај ових пријава на брзину преузимања ни на SEO.

Шта значи use=reference?

То је четврто поље које Cloudflare тестира. reference значи индексирање, одломак и линк ка извору. Cloudflare га додаје у управљане robots.txt фајлове, а ниједна документација о краулерима коју смо проверили га не помиње.

Извори

Још чланака