Co je Content-Signal v robots.txt a řídí se jím někdo?

Publikováno

Stručná odpověď

Content-Signal je volitelný řádek v robots.txt, který zveřejnil Cloudflare a který říká, jak smí být váš obsah po stažení použit: search pro výsledky vyhledávání, ai-input pro použití v odpovědích AI a ai-train pro trénování modelů, každý nastavený na yes nebo no, například Content-Signal: search=yes, ai-input=yes, ai-train=no. Vyjadřuje preferenci a nic neblokuje. K listopadu 2026 žádná stránka o crawlerech OpenAI, Anthropic, Google ani Perplexity neuvádí, že by ho četla, a velké AI firmy místo toho podpořily jiný token, který se týká jen trénování.

Robots.txt vznikl proto, aby říkal, kam crawler smí, ne co se smí dělat s tím, co přečte. Jakmile mohlo stejné stažení posloužit vyhledávacímu indexu, živé odpovědi AI i tréninkové sadě, začala tato mezera vadit. Cloudflare ji 24. září 2025 zaplnil zveřejněním Content Signals Policy pod licencí CC0 a tehdy uvedl, že jeho zákazníci už zapnuli spravovaný robots.txt pro více než 3,8 milionu domén, funkci, která jim dnes řádek přidává.

Na této stránce
  1. Co znamenají search, ai-input a ai-train?
  2. Jak zapsat řádek Content-Signal do robots.txt?
  3. Co říká text zásad nad řádkem?
  4. Je Content-Signal už v mém robots.txt?
  5. Řídí se AI crawlery řádkem Content-Signal?
  6. Mám přidat Content-Signal do svého robots.txt?
  7. Jak zjistím, co můj robots.txt říká jednotlivým crawlerům?

Co znamenají search, ai-input a ai-train?

Zásady definují tři signály. Znění níže vychází z contentsignals.org a z textu zásad, který Cloudflare zveřejňuje:

Každý signál nabývá hodnoty yes nebo no. Podle zásad yes znamená, že obsah smí být pro dané použití shromažďován, no, že nesmí, a signál, který vynecháte, dané použití ani nepovoluje, ani neomezuje. Výchozí nastavení Cloudflare nastavuje search a ai-train a ai-input nechává nenastavený, protože podle svých slov nezná preferenci každého zákazníka pro tento signál a nechce hádat.

Rozdíl mezi search a ai-input většina lidí přehlédne. Pokud chcete, aby se vaše stránky používaly v odpovědích AI, samotné search=yes to neříká. ai-input=yes ano.

Jak zapsat řádek Content-Signal do robots.txt?

Content-Signal patří do skupiny user agenta vedle Allow a Disallow, se signály oddělenými čárkami. contentsignals.org ukazuje i tvar, který začíná cestou, takže jedna část webu může nést jiné signály než zbytek:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow a Disallow fungují přesně jako dřív a Content-Signal je nenahrazuje. RFC 9309 dovoluje crawlerům interpretovat záznamy, které nejsou součástí protokolu, pokud to nenarušuje definovaná pravidla, takže parser, který řádek nezná, by ho měl přeskočit.

Je dobré znát dva detaily. Zaprvé řádek patří ke skupině. Podle RFC 9309 crawler, který má skupinu s vlastním názvem, skupinu User-agent: * zcela ignoruje, a stránky o Content Signals pro tento řádek žádnou výjimku nepopisují. Pokud dáte Googlebot nebo OAI-SearchBot vlastní skupinu, zopakujte v ní řádek Content-Signal, jak to dělá contentsignals.org ve svém příkladu pro jednotlivé crawlery. Zadruhé může Google Search Console u řádku hlásit Syntax not understood. Dokumentace Cloudflare to zmiňuje a uvádí, že nezaznamenala žádný dopad na procházení ani SEO. Dokumentace Googlu k robots.txt uvádí jako podporovaná pole jen user-agent, allow, disallow a sitemap.

Co říká text zásad nad řádkem?

Content Signals Policy je víc než jeden řádek. Generátor Cloudflare na contentsignals.org i jeho spravovaný robots.txt dávají nad signály blok komentářů. Ten začíná tím, že jako podmínku přístupu na web souhlasíte s dodržováním content signals, pak definuje tři signály a případy yes, no a chybějící hodnoty.

Končí větou psanou velkými písmeny, podle níž jsou veškerá omezení vyjádřená prostřednictvím content signals výslovnými výhradami práv podle článku 4 směrnice EU 2019/790 o autorském právu na jednotném digitálním trhu. Oznámení Cloudflare dodává, že signály mohou mít v různých jurisdikcích právní váhu.

Samotný contentsignals.org varuje, že soudy a regulátoři mohou dojít k závěru, že soubory robots.txt nezakládají vymahatelné právní povinnosti, a doporučuje poradit se s právníkem. Blok komentářů berte jako písemné vyjádření svého postoje, ne jako smlouvu.

Je Content-Signal už v mém robots.txt?

Pokud je váš web na Cloudflare, může být, a to jedním ze dvou způsobů:

Část use=reference je nová. Cloudflare popisuje use jako volitelné čtvrté pole, které testuje, se třemi hodnotami: immediate (pracovat s obsahem, ale nic neukládat ani znovu nepoužívat), reference (indexovat, citovat úryvky a odkazovat zpět) a full (shrnovat a reprodukovat). Nepatří mezi tři původní signály a žádná dokumentace crawlerů, kterou jsme prověřili, ho nezmiňuje.

Protože Cloudflare tyto řádky přidává na okraji sítě, může soubor ve vašem repozitáři vypadat beze změny, zatímco soubor, který dostávají crawlery, je jiný. Než přidáte vlastní řádek, stáhněte živý https://yourdomain.com/robots.txt, aby odpověď neuváděla dvě různé zásady.

Mezi velkými weby je rozšíření zatím nízké. V naší studii 1 000 nejnavštěvovanějších domén z listopadu 2026 použilo Content-Signal 18 z 518 webů, které poskytovaly robots.txt (3,5 %).

Řídí se AI crawlery řádkem Content-Signal?

Podle žádné dokumentace, kterou jsme našli, ne. 17. listopadu 2026 jsme prověřili stránky o crawlerech OpenAI, Anthropic, Google a Perplexity a žádná z nich Content-Signal nezmiňuje. Sám Cloudflare popisuje signály jako preference, ne jako technická opatření proti scrapingu, a uvádí, že je některé firmy mohou prostě ignorovat.

AI firmy místo toho zdokumentovaly samostatný mechanismus založený na práci pracovní skupiny IETF AI Preferences: token zásad __usage_ai-training, zapsaný jako běžná skupina User-Agent. Týká se jen trénování a Internet-Draft, který ho definuje, uvádí, že skupina User-Agent: * se jako použití tokenu nepočítá:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Podpora je nerovnoměrná a zčásti teprve přijde. Anthropic uvádí, že od 30. října 2026 rozpoznává obecný strojově čitelný signál pro trénování, zavádí ho postupně a pravidlo, které jmenuje ClaudeBot, má před ním přednost. Microsoft dokumentuje token __usage_ai-training pro Bing, přičemž nové preference začnou platit, jak budou stránky procházeny od 1. února 2027. Google uvádí, že chce sdílené ovládání podporovat v roce 2027 a že odmítnutí trénování přes něj plánuje brát jako zákaz Google-Extended, pokud tento token není jmenován. OpenAI téhož dne zveřejnil oznámení, že sdílený signál bude respektovat, bez data.

ai-train=no a __usage_ai-training tedy říkají podobnou věc, ale zdokumentovanou podporu od AI firem má jen to druhé. Tokeny jednotlivých crawlerů, jako GPTBot a ClaudeBot, zůstávají ovládáním, které dnes každý dodavatel uplatňuje.

Mám přidat Content-Signal do svého robots.txt?

Přidejte ho, pokud chcete mít své zásady použití sepsané na jednom místě, které přečtou stroje i lidé. Také jedním řádkem vyjadřuje preferenci ai-input pro všechny crawlery, což tokeny dodavatelů umějí jen crawler po crawleru. Stojí to jeden řádek a parsery, které ho neznají, ho přeskočí.

Nespoléhejte jen na něj. Chcete-li obsah udržet mimo trénování, zakažte také zdokumentované tréninkové tokeny a zvažte sdílený tréninkový token; náš návod k blokování trénování AI se zachováním viditelnosti ve vyhledávání s AI uvádí tokeny podle dodavatelů. Proti všemu, co robots.txt ignoruje, prosadí blokaci jen pravidlo firewallu.

Nakonec ověřte, že řádek souhlasí se zbytkem souboru. ai-input=no vedle skupiny Allow pro OAI-SearchBot nebo PerplexityBot vysílá protichůdné signály: vyhledávací AI crawlery pouštíte dovnitř a zároveň říkáte, že jejich odpovědi nesmějí použít, co stáhnou.

Jak zjistím, co můj robots.txt říká jednotlivým crawlerům?

Bezplatná kontrola robots.txt od AISeeWhy přijme adresu stránky nebo vložený robots.txt a pro každý AI a vyhledávací crawler ukáže, zda smí stránku stáhnout, takže si ověříte, že živý soubor, včetně všeho, co předřadil Cloudflare, říká to, co jste zamýšleli. Bezplatný generátor robots.txt sestaví soubor podle vašich voleb.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Je Content-Signal součástí standardu robots.txt?

Ne. RFC 9309 definuje User-agent, Allow a Disallow a dovoluje crawlerům interpretovat další záznamy. Content-Signal pochází z Content Signals Policy od Cloudflare, vydané pod licencí CC0. Nezávisle na tom připravuje pracovní skupina IETF AI Preferences vlastní pravidlo Content-Usage pro robots.txt, které je zatím Internet-Draft, ne standard.

Zastaví ai-train=no GPTBot nebo ClaudeBot?

Podle dokumentace dodavatelů ne. OpenAI a Anthropic popisují ovládání pravidly v robots.txt, která jmenují GPTBot a ClaudeBot, a stránka ani jednoho crawleru Content-Signal nezmiňuje. Chcete-li u některého z nich odmítnout trénování, zakažte token jménem.

Jaký je rozdíl mezi Content-Signal a __usage_ai-training?

Content-Signal je řádek uvnitř skupiny a pokrývá vyhledávání, vstup do AI i trénování. __usage_ai-training je token zásad používaný jako samostatná skupina User-Agent a pokrývá jen trénování. Anthropic, Microsoft, Google a OpenAI zveřejnily prohlášení ke sdílenému tréninkovému signálu; žádná z nich nedokumentuje Content-Signal.

Proč Google Search Console hlásí Syntax not understood?

Dokumentace Googlu k robots.txt podporuje jen user-agent, allow, disallow a sitemap, takže jiné řádky mohou být označeny. Cloudflare uvádí, že u těchto hlášení nezaznamenal žádný dopad na rychlost procházení ani SEO.

Co znamená use=reference?

Je to čtvrté pole, které Cloudflare testuje. reference znamená indexovat, citovat úryvky a odkazovat zpět. Cloudflare ho přidává do spravovaných souborů robots.txt a žádná dokumentace crawlerů, kterou jsme prověřili, ho nezmiňuje.

Zdroje

Další články