Што е Content-Signal во robots.txt и дали некој го следи?

Објавено

Краток одговор

Content-Signal е незадолжителен ред во robots.txt, објавен од Cloudflare, што кажува како смее да се користи вашата содржина откако ќе биде преземена: search за резултати од пребарување, ai-input за внесување во AI одговори и ai-train за обука на модели, секој поставен на yes или no, како во Content-Signal: search=yes, ai-input=yes, ai-train=no. Тој изразува желба и не блокира ништо. Заклучно со ноември 2026, ниту една од страниците за краулерите на OpenAI, Anthropic, Google или Perplexity не вели дека го чита, а големите AI компании поддржаа друга ознака, само за обука.

robots.txt е создаден за да каже каде смее да оди краулерот, а не што смее да се прави со она што го чита. Откако истото преземање можеше да заврши во индекс за пребарување, во AI одговор во живо и во збир за обука, таа празнина стана важна. За да ја пополни, Cloudflare на 24 септември 2025 ја објави Content Signals Policy под лиценца CC0 и тогаш наведе дека неговите корисници веќе вклучиле управуван robots.txt за повеќе од 3,8 милиони домени, функција што сега го додава редот наместо нив.

На оваа страница
  1. Што значат search, ai-input и ai-train?
  2. Како да напишам ред Content-Signal во robots.txt?
  3. Што вели текстот на политиката над редот?
  4. Дали Content-Signal веќе е во мојот robots.txt?
  5. Дали AI краулерите го следат Content-Signal?
  6. Дали да додадам Content-Signal во мојот robots.txt?
  7. Како да проверам што му кажува мојот robots.txt на секој краулер?

Што значат search, ai-input и ai-train?

Политиката дефинира три сигнали. Формулацијата подолу ги следи contentsignals.org и текстот на политиката што го објавува Cloudflare:

Секој сигнал прима yes или no. Според политиката, yes значи дека содржината смее да се собира за таа употреба, no значи дека не смее, а сигнал што го изоставите ниту ја дозволува ниту ја ограничува таа употреба. Стандардната поставка на Cloudflare ги поставува search и ai-train, а ai-input го остава непоставен, бидејќи, како што наведува, не ја знае желбата на секој корисник за тој сигнал и не сака да погодува.

Разликата меѓу search и ai-input е онаа што повеќето луѓе ја пропуштаат. Ако сакате вашите страници да се користат во AI одговори, само search=yes не го кажува тоа. ai-input=yes го кажува.

Како да напишам ред Content-Signal во robots.txt?

Content-Signal оди во група на кориснички агент, покрај Allow и Disallow, со сигналите одделени со запирки. contentsignals.org покажува и облик што почнува со патека, па еден дел од сајтот може да носи различни сигнали од останатиот:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow и Disallow продолжуваат да работат точно како порано, а Content-Signal не ги заменува. RFC 9309 им дозволува на краулерите да толкуваат записи што не се дел од протоколот, сè додека тоа не се меша со дефинираните правила, па парсер што не го познава редот треба да го прескокне.

Вреди да се знаат два детали. Прво, редот припаѓа на група. Според RFC 9309, краулер што има група со своето име целосно ја игнорира групата User-agent: *, а страниците за Content Signals не опишуваат никаков исклучок за овој ред. Ако на Googlebot или OAI-SearchBot им дадете посебна група, повторете го редот Content-Signal таму, како што прави contentsignals.org во својот пример по краулер. Второ, Google Search Console може да пријави Syntax not understood за редот. Документацијата на Cloudflare го спомнува ова и вели дека не забележала влијание врз обиколувањето или SEO. Документацијата на Google за robots.txt ги наведува само user-agent, allow, disallow и sitemap како поддржани полиња.

Што вели текстот на политиката над редот?

Content Signals Policy е повеќе од еден ред. Генераторот на Cloudflare на contentsignals.org и неговиот управуван robots.txt ставаат блок коментари над сигналите. Тој почнува со изјава дека, како услов за пристап до веб-сајтот, се согласувате да ги почитувате сигналите за содржина, потоа ги дефинира трите сигнали и случаите yes, no и изоставен сигнал.

Завршува со реченица со големи букви во која се вели дека сите ограничувања изразени преку сигналите за содржина се изречни задржувања на правата според член 4 од Директивата на ЕУ 2019/790 за авторското право на дигиталниот единствен пазар. Најавата на Cloudflare додава дека сигналите може да имаат правна тежина во различни јурисдикции.

Самиот contentsignals.org предупредува дека судовите и регулаторите може да заклучат дека датотеките robots.txt не наметнуваат правни обврски што може да се спроведат, и предлага консултација со правник. Сметајте го блокот коментари како писмена изјава за вашиот став, а не како договор.

Дали Content-Signal веќе е во мојот robots.txt?

Ако вашиот сајт е на Cloudflare, може да е, на еден од два начина:

Делот use=reference е нов. Cloudflare го опишува use како незадолжително четврто поле што го тестира, со три вредности: immediate (интеракција, но без чување и повторна употреба), reference (индексирање, извадок и врска назад) и full (резимирање и репродуцирање). Тоа не е еден од трите оригинални сигнали и ниту една документација за краулери што ја проверивме не го спомнува.

Бидејќи Cloudflare ги додава овие редови на работ на мрежата, датотеката во вашето складиште може да изгледа непроменета, додека датотеката што ја добиваат краулерите е различна. Преземете го активниот https://yourdomain.com/robots.txt пред да додадете свој ред, за одговорот да не наведува две различни политики.

Кај големите сајтови употребата е сè уште ретка. Во нашето истражување од ноември 2026 на 1.000 најпопуларни домени, 18 од 518-те сајтови што враќаа robots.txt (3,5%) користеа Content-Signal.

Дали AI краулерите го следат Content-Signal?

Не според документацијата што успеавме да ја најдеме. На 17 ноември 2026 ги проверивме страниците за краулерите на OpenAI, Anthropic, Google и Perplexity и ниту една не го спомнува Content-Signal. Самиот Cloudflare ги опишува сигналите како желби, а не како технички мерки против гребење на содржина, и вели дека некои компании може едноставно да ги игнорираат.

Наместо тоа, AI компаниите документираа посебен механизам заснован на работата во работната група AI Preferences на IETF: ознака за политика, __usage_ai-training, напишана како обична група User-Agent. Таа опфаќа само обука, а Internet-Draft што ја дефинира вели дека групата User-Agent: * не се смета за употреба на ознаката:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Поддршката е нерамномерна и делумно сè уште претстои. Anthropic наведува дека од 30 октомври 2026 препознава општ машински читлив сигнал за обука, дека го воведува постепено и дека правило што го именува ClaudeBot има предност пред него. Microsoft ја документира ознаката __usage_ai-training за Bing, а неговите нови желби стапуваат во сила како што страниците се обиколуваат од 1 февруари 2027. Google наведува дека има цел да ја поддржи заедничката контрола во 2027 и планира откажувањето од обука преку неа да го третира како забрана за Google-Extended кога таа ознака не е именувана. OpenAI истиот ден објави најава дека ќе го почитува заедничкиот сигнал, без датум.

Значи ai-train=no и __usage_ai-training кажуваат слични работи, но само второто има документирана поддршка од AI компаниите. Ознаките по краулер, како GPTBot и ClaudeBot, остануваат контролите што секој производител ги применува денес.

Дали да додадам Content-Signal во мојот robots.txt?

Додајте го ако сакате вашата политика за користење да биде запишана на едно место што можат да го читаат и машини и луѓе. Тој исто така со еден ред изразува желба за ai-input за секој краулер, што ознаките на производителите можат да го изразат само краулер по краулер. Чини еден ред, а парсерите што не го познаваат го прескокнуваат.

Не потпирајте се само на него. За да ја задржите содржината надвор од обуката, забранете ги и документираните ознаки за обука и размислете за заедничката ознака за обука; нашиот водич за блокирање на AI обуката со останување во AI пребарувањето ги наведува ознаките по производител. За сè што го игнорира robots.txt, само правило на заштитниот ѕид навистина спроведува блокирање.

На крај, проверете дали редот се согласува со остатокот од датотеката. ai-input=no покрај група Allow за OAI-SearchBot или PerplexityBot праќа противречни пораки: ги пуштате AI краулерите за пребарување, а велите дека нивните одговори не смеат да го користат она што го преземаат.

Како да проверам што му кажува мојот robots.txt на секој краулер?

Бесплатната проверка на robots.txt на AISeeWhy прима адреса на страница или залепен robots.txt и покажува, за секој AI краулер и краулер за пребарување, дали таа страница смее да се преземе, па можете да потврдите дека активната датотека, вклучително и сè што Cloudflare додал на почетокот, го кажува она што сте го мислеле. Бесплатниот генератор на robots.txt пишува датотека според вашиот избор.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали Content-Signal е дел од стандардот за robots.txt?

Не. RFC 9309 ги дефинира User-agent, Allow и Disallow и им дозволува на краулерите да толкуваат други записи. Content-Signal доаѓа од Content Signals Policy на Cloudflare, објавена под лиценца CC0. Одделно, работната група AI Preferences на IETF подготвува свое правило Content-Usage за robots.txt, кое сè уште е Internet-Draft, а не стандард.

Дали ai-train=no ги запира GPTBot или ClaudeBot?

Не, колку што документираат производителите. OpenAI и Anthropic опишуваат контрола преку правила во robots.txt што ги именуваат GPTBot и ClaudeBot, а ниту една страница за тие краулери не го спомнува Content-Signal. За да се откажете од обуката кај кој било од нив, забранете ја ознаката по име.

Која е разликата меѓу Content-Signal и __usage_ai-training?

Content-Signal е ред во група и опфаќа пребарување, AI внес и обука. __usage_ai-training е ознака за политика што се користи како посебна група User-Agent и опфаќа само обука. Anthropic, Microsoft, Google и OpenAI објавија изјави за заедничкиот сигнал за обука; ниту еден од нив не го документира Content-Signal.

Зошто Google Search Console вели Syntax not understood?

Документацијата на Google за robots.txt ги поддржува само user-agent, allow, disallow и sitemap, па другите редови може да бидат означени. Cloudflare наведува дека не забележал влијание од овие извештаи врз брзината на обиколување или SEO.

Што значи use=reference?

Тоа е четврто поле што Cloudflare го тестира. reference значи индексирање, извадок и врска назад. Cloudflare го додава во управуваните robots.txt датотеки, а ниту една документација за краулери што ја проверивме не го спомнува.

Извори

Уште статии