Čo je Content-Signal v robots.txt a riadi sa ním niekto?

Publikované

Krátka odpoveď

Content-Signal je voliteľný riadok v robots.txt, ktorý zverejnil Cloudflare a ktorý hovorí, ako sa váš obsah smie použiť po stiahnutí: search pre výsledky vyhľadávania, ai-input pre vkladanie do odpovedí AI a ai-train pre trénovanie modelov, každý s hodnotou yes alebo no, napríklad Content-Signal: search=yes, ai-input=yes, ai-train=no. Vyjadruje preferenciu a nič neblokuje. K novembru 2026 žiadna zo stránok o crawleroch OpenAI, Anthropic, Google ani Perplexity neuvádza, že ho číta, kým veľké AI spoločnosti podporili iný token, ktorý sa týka len trénovania.

robots.txt vznikol na to, aby povedal, kam crawler smie ísť, nie čo sa smie robiť s tým, čo prečíta. Keď jedno stiahnutie mohlo naplniť vyhľadávací index, živú odpoveď AI aj trénovaciu množinu, táto medzera začala byť dôležitá. Cloudflare na jej vyplnenie zverejnil 24. septembra 2025 Content Signals Policy pod licenciou CC0 a vtedy uviedol, že jeho zákazníci už zapli spravovaný robots.txt pre viac ako 3,8 milióna domén, teda funkciu, ktorá im dnes tento riadok pridáva.

Na tejto stránke
  1. Čo znamenajú search, ai-input a ai-train?
  2. Ako zapísať riadok Content-Signal do robots.txt?
  3. Čo hovorí text politiky nad riadkom?
  4. Je Content-Signal už v mojom robots.txt?
  5. Riadia sa AI crawlery riadkom Content-Signal?
  6. Mám pridať Content-Signal do svojho robots.txt?
  7. Ako skontrolovať, čo môj robots.txt hovorí každému crawleru?

Čo znamenajú search, ai-input a ai-train?

Politika definuje tri signály. Znenie nižšie sa drží contentsignals.org a textu politiky, ktorý Cloudflare zverejňuje:

Každý signál má hodnotu yes alebo no. V terminológii politiky yes znamená, že obsah sa na dané použitie smie zbierať, no znamená, že nesmie, a signál, ktorý vynecháte, dané použitie ani nepovoľuje, ani neobmedzuje. Predvolené nastavenie Cloudflare nastavuje search a ai-train a ai-input necháva nenastavený, pretože podľa neho nepozná preferenciu každého zákazníka pre tento signál a nechce hádať.

Rozdiel medzi search a ai-input väčšina ľudí prehliadne. Ak chcete, aby sa vaše stránky používali v odpovediach AI, samotné search=yes to nehovorí. ai-input=yes áno.

Ako zapísať riadok Content-Signal do robots.txt?

Content-Signal patrí do skupiny user agenta vedľa Allow a Disallow a signály sa oddeľujú čiarkami. contentsignals.org ukazuje aj tvar, ktorý začína cestou, takže jedna časť webu môže mať iné signály ako zvyšok:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow a Disallow fungujú presne ako predtým a Content-Signal ich nenahrádza. RFC 9309 dovoľuje crawlerom interpretovať záznamy, ktoré nie sú súčasťou protokolu, pokiaľ to nezasahuje do definovaných pravidiel, takže parser, ktorý riadok nepozná, by ho mal preskočiť.

Oplatí sa poznať dva detaily. Po prvé, riadok patrí do skupiny. Podľa RFC 9309 crawler, ktorý má skupinu so svojím vlastným názvom, skupinu User-agent: * úplne ignoruje, a stránky Content Signals pre tento riadok žiadnu výnimku neopisujú. Ak dáte Googlebot alebo OAI-SearchBot vlastnú skupinu, zopakujte v nej riadok Content-Signal, ako to robí contentsignals.org vo svojom príklade pre jednotlivé crawlery. Po druhé, Google Search Console môže pri riadku hlásiť Syntax not understood. Dokumentácia Cloudflare to spomína a uvádza, že nezaznamenala žiadny vplyv na prehľadávanie ani SEO. Dokumentácia robots.txt od Google uvádza ako podporované polia len user-agent, allow, disallow a sitemap.

Čo hovorí text politiky nad riadkom?

Content Signals Policy nie je len jeden riadok. Generátor Cloudflare na contentsignals.org aj jeho spravovaný robots.txt dávajú nad signály blok komentárov. Začína tým, že ako podmienku prístupu na web súhlasíte s dodržiavaním content signals, potom definuje tri signály a prípady yes, no a chýbajúcej hodnoty.

Končí vetou napísanou veľkými písmenami, podľa ktorej sú všetky obmedzenia vyjadrené cez content signals výslovnými výhradami práv podľa článku 4 smernice EÚ 2019/790 o autorskom práve na digitálnom jednotnom trhu. Oznámenie Cloudflare dodáva, že signály môžu mať v rôznych jurisdikciách právnu váhu.

Samotný contentsignals.org upozorňuje, že súdy a regulátori môžu dospieť k záveru, že súbory robots.txt neukladajú vymáhateľné právne povinnosti, a odporúča poradiť sa s právnikom. Blok komentárov berte ako písomné vyjadrenie vášho postoja, nie ako zmluvu.

Je Content-Signal už v mojom robots.txt?

Ak je váš web na Cloudflare, môže byť, a to jedným z dvoch spôsobov:

Časť use=reference je nová. Cloudflare opisuje use ako voliteľné štvrté pole, ktoré testuje, s tromi hodnotami: immediate (interagovať, ale nič neukladať ani znova nepoužiť), reference (indexovať, citovať úryvok a odkázať späť) a full (zhrnúť a reprodukovať). Nepatrí medzi tri pôvodné signály a nespomína ho žiadna dokumentácia crawlerov, ktorú sme skontrolovali.

Keďže Cloudflare tieto riadky pridáva na okraji siete, súbor vo vašom repozitári môže vyzerať nezmenený, kým súbor, ktorý dostanú crawlery, je iný. Pred pridaním vlastného riadku si stiahnite živý https://yourdomain.com/robots.txt, aby odpoveď neuvádzala dve rôzne politiky.

Medzi veľkými webmi je rozšírenie zatiaľ nízke. V našej novembrovej štúdii 1 000 najpopulárnejších domén z roku 2026 používalo Content-Signal 18 z 518 webov, ktoré poskytovali robots.txt (3,5 %).

Riadia sa AI crawlery riadkom Content-Signal?

Podľa žiadnej dokumentácie, ktorú sme našli, nie. 17. novembra 2026 sme skontrolovali stránky o crawleroch OpenAI, Anthropic, Google a Perplexity a žiadna z nich Content-Signal nespomína. Samotný Cloudflare opisuje signály ako preferencie, nie ako technické protiopatrenia proti scrapovaniu, a uvádza, že niektoré spoločnosti ich môžu jednoducho ignorovať.

Namiesto toho AI spoločnosti zdokumentovali samostatný mechanizmus založený na práci pracovnej skupiny IETF AI Preferences: token politiky __usage_ai-training, zapísaný ako bežná skupina User-Agent. Týka sa len trénovania a Internet-Draft, ktorý ho definuje, uvádza, že skupina User-Agent: * sa za použitie tokenu nepovažuje:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Podpora je nerovnomerná a čiastočne ešte len príde. Anthropic uvádza, že všeobecný strojovo čitateľný signál pre trénovanie rozpoznáva od 30. októbra 2026, zavádza ho postupne a pravidlo, ktoré menuje ClaudeBot, má pred ním prednosť. Microsoft dokumentuje token __usage_ai-training pre Bing, pričom nové preferencie sa začnú uplatňovať pri prehľadávaní stránok od 1. februára 2027. Google uvádza, že spoločný ovládací prvok chce podporovať v roku 2027 a odmietnutie trénovania cez neho plánuje považovať za zákaz Google-Extended, ak tento token nie je menovaný. OpenAI v ten istý deň zverejnil oznámenie, že bude spoločný signál rešpektovať, bez uvedenia dátumu.

ai-train=no a __usage_ai-training teda hovoria podobné veci, ale zdokumentovanú podporu od AI spoločností má len to druhé. Tokeny jednotlivých crawlerov, ako GPTBot a ClaudeBot, zostávajú ovládacími prvkami, ktoré každý dodávateľ uplatňuje dnes.

Mám pridať Content-Signal do svojho robots.txt?

Pridajte ho, ak chcete mať svoje pravidlá používania zapísané na jednom mieste, ktoré prečítajú stroje aj ľudia. Navyše jedným riadkom vyjadrí preferenciu ai-input pre všetky crawlery, čo tokeny dodávateľov dokážu len crawler po crawleri. Stojí jeden riadok a parsery, ktoré ho nepoznajú, ho preskočia.

Nespoliehajte sa len naň. Ak chcete obsah udržať mimo trénovania, zakážte aj zdokumentované trénovacie tokeny a zvážte spoločný token pre trénovanie; náš návod na blokovanie AI trénovania so zachovaním AI vyhľadávania uvádza tokeny podľa dodávateľa. Pri všetkom, čo robots.txt ignoruje, blok vynúti len pravidlo firewallu.

Nakoniec skontrolujte, že riadok je v súlade so zvyškom súboru. ai-input=no vedľa skupiny Allow pre OAI-SearchBot alebo PerplexityBot posiela protichodné signály: AI vyhľadávacie crawlery pustíte dnu, a zároveň hovoríte, že ich odpovede nesmú použiť to, čo stiahnu.

Ako skontrolovať, čo môj robots.txt hovorí každému crawleru?

Bezplatný robots.txt tester od AISeeWhy prijme adresu stránky alebo vložený robots.txt a pre každý AI a vyhľadávací crawler ukáže, či sa stránka smie stiahnuť, takže si overíte, že živý súbor vrátane všetkého, čo pred neho vložil Cloudflare, hovorí to, čo ste mysleli. Bezplatný generátor robots.txt vytvorí súbor podľa vašich volieb.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Je Content-Signal súčasťou štandardu robots.txt?

Nie. RFC 9309 definuje User-agent, Allow a Disallow a dovoľuje crawlerom interpretovať ďalšie záznamy. Content-Signal pochádza z Content Signals Policy od Cloudflare, vydanej pod licenciou CC0. Pracovná skupina IETF AI Preferences popri tom pripravuje vlastné pravidlo Content-Usage pre robots.txt, ktoré je stále Internet-Draft, nie štandard.

Zastaví ai-train=no GPTBot alebo ClaudeBot?

Podľa dokumentácie dodávateľov nie. OpenAI aj Anthropic opisujú ovládanie cez pravidlá robots.txt, ktoré menujú GPTBot a ClaudeBot, a ani jedna stránka o crawleroch Content-Signal nespomína. Ak chcete odmietnuť trénovanie u ktoréhokoľvek z nich, zakážte token podľa názvu.

Aký je rozdiel medzi Content-Signal a __usage_ai-training?

Content-Signal je riadok vnútri skupiny a týka sa vyhľadávania, vstupu do AI aj trénovania. __usage_ai-training je token politiky používaný ako samostatná skupina User-Agent a týka sa len trénovania. Anthropic, Microsoft, Google a OpenAI zverejnili vyhlásenia o spoločnom signáli pre trénovanie; žiadna z nich nedokumentuje Content-Signal.

Prečo Google Search Console hlási Syntax not understood?

Dokumentácia robots.txt od Google podporuje len user-agent, allow, disallow a sitemap, takže ostatné riadky môžu byť označené. Cloudflare uvádza, že z týchto hlásení nezaznamenal žiadny vplyv na rýchlosť prehľadávania ani SEO.

Čo znamená use=reference?

Je to štvrté pole, ktoré Cloudflare testuje. reference znamená indexovať, citovať úryvok a odkázať späť. Cloudflare ho pridáva do spravovaných súborov robots.txt a nespomína ho žiadna dokumentácia crawlerov, ktorú sme skontrolovali.

Zdroje

Ďalšie články