Какво е Content-Signal в robots.txt и спазва ли го някой?
Content-Signal е незадължителен ред в robots.txt, публикуван от Cloudflare, който посочва как може да се използва съдържанието ви, след като бъде изтеглено: search за резултати от търсене, ai-input за подаване в отговори на AI и ai-train за обучение на модели, всеки със стойност yes или no, както в Content-Signal: search=yes, ai-input=yes, ai-train=no. Той изразява предпочитание и не блокира нищо. Към ноември 2026 г. никоя от страниците за ботовете на OpenAI, Anthropic, Google или Perplexity не казва, че го чете, а големите AI компании подкрепиха друг токен, само за обучение.
robots.txt е създаден, за да казва къде може да ходи ботът, а не какво може да се прави с прочетеното. Щом едно и също изтегляне можеше да захрани индекс за търсене, отговор на AI на живо и набор за обучение, тази празнина стана важна. Cloudflare публикува Content Signals Policy на 24 септември 2025 г. под лиценз CC0, за да я запълни, и каза тогава, че клиентите му вече са включили управлявания robots.txt за над 3,8 милиона домейна – функция, която сега добавя реда вместо тях.
На тази страница
- Какво означават search, ai-input и ai-train?
- Как да напиша ред Content-Signal в robots.txt?
- Какво казва текстът на политиката над реда?
- Има ли вече Content-Signal в моя robots.txt?
- Спазват ли AI ботовете Content-Signal?
- Трябва ли да добавя Content-Signal в robots.txt?
- Как да проверя какво казва robots.txt на всеки бот?
Какво означават search, ai-input и ai-train?
Политиката определя три сигнала. Описанието по-долу следва contentsignals.org и текста на политиката, който публикува Cloudflare:
search: изграждане на индекс за търсене и предоставяне на резултати от търсене, например връщане на хипервръзки и кратки откъси от страниците ви. Определението посочва, че search не включва генерирани от AI обобщения в търсенето.ai-input: подаване на съдържание в един или повече AI модели, например генериране, допълнено с извличане (RAG), обосноваване (grounding) или друго използване на съдържание в реално време за отговори на генеративно AI търсене.ai-train: обучение или дообучение на AI модели.
Всеки сигнал приема yes или no. По смисъла на политиката yes означава, че съдържанието може да се събира за тази употреба, no означава, че не може, а пропуснат сигнал нито разрешава, нито ограничава тази употреба. Настройката по подразбиране на Cloudflare задава search и ai-train и оставя ai-input незададен, защото според компанията тя не знае предпочитанието на всеки клиент за този сигнал и не иска да гадае.
Разделението между search и ai-input е това, което повечето хора пропускат. Ако искате страниците ви да се използват в отговори на AI, само search=yes не го казва. ai-input=yes го казва.
Как да напиша ред Content-Signal в robots.txt?
Content-Signal се поставя в група за user agent, до Allow и Disallow, като сигналите се разделят със запетаи. contentsignals.org показва и вариант, който започва с път, така че един раздел от сайта да има различни сигнали от останалата част:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow и Disallow продължават да работят точно както преди, а Content-Signal не ги заменя. RFC 9309 позволява на ботовете да тълкуват записи, които не са част от протокола, стига това да не пречи на определените правила, така че анализатор, който не познава реда, трябва да го пропусне.
Два детайла си струва да знаете. Първо, редът принадлежи на група. Според RFC 9309 бот, който има група със собственото си име, изцяло пренебрегва групата User-agent: *, а страниците на Content Signals не описват изключение за този ред. Ако дадете на Googlebot или OAI-SearchBot собствена група, повторете реда Content-Signal там, както прави contentsignals.org в примера си за отделни ботове. Второ, Google Search Console може да отчете Syntax not understood за реда. Документацията на Cloudflare споменава това и казва, че не е наблюдавала влияние върху обхождането или SEO. Документацията на Google за robots.txt изброява само user-agent, allow, disallow и sitemap като поддържани полета.
Какво казва текстът на политиката над реда?
Content Signals Policy е повече от един ред. Генераторът на Cloudflare на contentsignals.org и управляваният му robots.txt поставят блок с коментари над сигналите. Той започва с изречението, че като условие за достъп до уебсайта вие се съгласявате да спазвате content signals, след това определя трите сигнала и случаите yes, no и липсващ сигнал.
Завършва с изречение с главни букви, в което се казва, че всички ограничения, изразени чрез content signals, са изрични запазвания на права по член 4 от Директива (ЕС) 2019/790 относно авторското право в цифровия единен пазар. Обявата на Cloudflare добавя, че сигналите може да имат правна тежест в различни юрисдикции.
Самият contentsignals.org предупреждава, че съдилищата и регулаторите може да заключат, че файловете robots.txt не налагат приложими правни задължения, и препоръчва консултация с юрист. Приемайте блока с коментари като писмено изявление на позицията си, а не като договор.
Има ли вече Content-Signal в моя robots.txt?
Ако сайтът ви е в Cloudflare, може да има, по един от два начина:
- Управляван robots.txt. Когато Bot Preference Sync е включен и поне една AI Crawler and Agent access policy е зададена на Block, Block on pages with ads или, за Training, на Disallow, Cloudflare добавя управляван блок в началото на robots.txt, който изпраща сървърът ви. Той съдържа текста на политиката,
Content-signal: search=yes, ai-train=no, use=referenceподUser-Agent: *иDisallow: /заAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotиmeta-externalagent. - Изобщо няма robots.txt. Cloudflare казва, че домейните в плана Free, които нямат собствен robots.txt и не използват управляваната функция, показват Content Signals Policy, когато бот заяви
/robots.txt. Тази версия съдържа определенията, но не посочва предпочитание.
Частта use=reference е нова. Cloudflare описва use като незадължително четвърто поле, което тества, с три стойности: immediate (взаимодействие без съхраняване и повторно използване), reference (индексиране, откъс и връзка към източника) и full (обобщаване и възпроизвеждане). То не е един от трите първоначални сигнала и никоя от документациите за ботове, които проверихме, не го споменава.
Тъй като Cloudflare добавя тези редове на ниво edge, файлът в хранилището ви може да изглежда непроменен, докато файлът, който получават ботовете, е различен. Изтеглете https://yourdomain.com/robots.txt на живо, преди да добавите собствен ред, така че отговорът да не посочва две различни политики.
Използването все още е ниско сред големите сайтове. В нашето проучване от ноември 2026 г. на 1000-те най-популярни домейна 18 от 518-те сайта с robots.txt (3,5%) използваха Content-Signal.
Спазват ли AI ботовете Content-Signal?
Не според документацията, която успяхме да намерим. На 17 ноември 2026 г. проверихме страниците за ботовете на OpenAI, Anthropic, Google и Perplexity и никоя от тях не споменава Content-Signal. Самият Cloudflare описва сигналите като предпочитания, а не като технически мерки срещу извличането на данни, и казва, че някои компании може просто да ги пренебрегнат.
Това, което AI компаниите са документирали вместо това, е отделен механизъм, основан на работата в работната група AI Preferences на IETF: токен за политика, __usage_ai-training, записан като обикновена група User-Agent. Той покрива само обучението, а Internet-Draft, който го определя, казва, че група User-Agent: * не се брои за използване на токена:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Поддръжката е неравномерна и отчасти тепърва предстои. Anthropic казва, че разпознава общ машинночетим сигнал за обучение от 30 октомври 2026 г., въвежда го постепенно и че правило, което назовава ClaudeBot, има предимство пред него. Microsoft документира токена __usage_ai-training за Bing, като новите му предпочитания влизат в сила при обхождането на страниците от 1 февруари 2027 г. Google казва, че цели да поддържа общия контрол през 2027 г. и планира да третира отказ от обучение чрез него като забрана за Google-Extended, когато този токен не е назован. OpenAI публикува обява в същия ден, в която казва, че ще спазва общия сигнал, без дата.
Така ai-train=no и __usage_ai-training казват подобни неща, но само второто има документирана поддръжка от AI компании. Токените за отделни ботове, като GPTBot и ClaudeBot, остават контролите, които всеки доставчик прилага днес.
Трябва ли да добавя Content-Signal в robots.txt?
Добавете го, ако искате политиката ви за използване да е записана на едно място, четимо за машини и хора. Той също посочва предпочитание за ai-input за всички ботове в един ред, което токените на доставчиците могат да изразят само бот по бот. Струва един ред, а анализаторите, които не го познават, го пропускат.
Не разчитайте само на него. За да държите съдържанието далеч от обучение, забранете и документираните токени за обучение и обмислете общия токен за обучение; ръководството ни за блокиране на AI обучението при запазване на AI търсенето изброява токените по доставчици. За всичко, което пренебрегва robots.txt, само правило на защитната стена налага блокиране.
Накрая проверете дали редът е в съгласие с останалата част от файла. ai-input=no до група Allow за OAI-SearchBot или PerplexityBot изпраща противоречиви послания: пускате AI ботовете за търсене, но казвате, че отговорите им не може да използват изтегленото.
Как да проверя какво казва robots.txt на всеки бот?
Безплатният robots.txt тестер на AISeeWhy приема адрес на страница или поставен robots.txt и показва за всеки AI бот и бот на търсачка дали тази страница може да бъде изтеглена, така че да потвърдите, че файлът на живо, включително всичко, добавено от Cloudflare в началото, казва това, което сте имали предвид. Безплатният генератор на robots.txt създава файл според вашите избори.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Част ли е Content-Signal от стандарта robots.txt?
Не. RFC 9309 определя User-agent, Allow и Disallow и позволява на ботовете да тълкуват други записи. Content-Signal идва от Content Signals Policy на Cloudflare, публикувана под лиценз CC0. Отделно работната група AI Preferences на IETF подготвя собствено правило Content-Usage за robots.txt, което все още е Internet-Draft, а не стандарт.
Спира ли ai-train=no GPTBot или ClaudeBot?
Не, доколкото документират доставчиците. OpenAI и Anthropic описват контрол чрез правила в robots.txt, които назовават GPTBot и ClaudeBot, и никоя от страниците за ботовете не споменава Content-Signal. За да се откажете от обучение при всеки от тях, забранете токена по име.
Каква е разликата между Content-Signal и __usage_ai-training?
Content-Signal е ред в група и покрива търсене, вход за AI и обучение. __usage_ai-training е токен за политика, използван като собствена група User-Agent, и покрива само обучението. Anthropic, Microsoft, Google и OpenAI са публикували изявления за общия сигнал за обучение; никоя от тях не документира Content-Signal.
Защо Google Search Console казва Syntax not understood?
Документацията на Google за robots.txt поддържа само user-agent, allow, disallow и sitemap, така че други редове може да бъдат отбелязани. Cloudflare казва, че не е наблюдавала влияние на тези отчети върху честотата на обхождане или SEO.
Какво означава use=reference?
Това е четвърто поле, което Cloudflare тества. reference означава индексиране, откъс и връзка към източника. Cloudflare го добавя към управляваните файлове robots.txt и никоя от документациите за ботове, които проверихме, не го споменава.
Източници
- Content Signals (contentsignals.org)
- Блог на Cloudflare: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: Политики за достъп на AI ботове и агенти
- RFC 9309: Robots Exclusion Protocol
- Google: Как Google тълкува спецификацията на robots.txt
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Блог на Google Search Central: Поддръжка на общ контрол за AI обучение за уебсайтове
- Anthropic: Обхожда ли Anthropic данни от уеб и как собствениците на сайтове могат да блокират бота?
- Блог на Microsoft Bing: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Преглед на ботовете на OpenAI
- Perplexity: ботовете на Perplexity
- AISeeWhy: Отчет за достъпа на AI ботове, 2026-11