Kaj je Content-Signal v robots.txt in ali ga kdo upošteva?
Content-Signal je neobvezna vrstica v robots.txt, ki jo je objavil Cloudflare in ki pove, kako se vaša vsebina sme uporabiti po prenosu: search za rezultate iskanja, ai-input za vnos v odgovore UI in ai-train za učenje modelov, vsak z vrednostjo yes ali no, na primer Content-Signal: search=yes, ai-input=yes, ai-train=no. Izraža preferenco in ničesar ne blokira. Novembra 2026 nobena od strani o pajkih OpenAI, Anthropic, Google ali Perplexity ne navaja, da jo bere, velika podjetja UI pa so podprla drug žeton, ki zadeva le učenje.
robots.txt je nastal, da pove, kam pajek sme iti, ne pa, kaj se sme narediti s tem, kar prebere. Ko je en prenos lahko napolnil iskalni indeks, sprotni odgovor UI in učno množico, je ta vrzel postala pomembna. Cloudflare je 24. septembra 2025 za njeno zapolnitev objavil Content Signals Policy pod licenco CC0 in takrat navedel, da so njegove stranke upravljani robots.txt vklopile že za več kot 3,8 milijona domen, torej funkcijo, ki jim zdaj doda to vrstico.
Na tej strani
- Kaj pomenijo search, ai-input in ai-train?
- Kako zapišem vrstico Content-Signal v robots.txt?
- Kaj pove besedilo pravilnika nad vrstico?
- Ali je Content-Signal že v mojem robots.txt?
- Ali pajki UI upoštevajo Content-Signal?
- Ali naj v svoj robots.txt dodam Content-Signal?
- Kako preverim, kaj moj robots.txt pove vsakemu pajku?
Kaj pomenijo search, ai-input in ai-train?
Pravilnik opredeljuje tri signale. Spodnje besedilo sledi contentsignals.org in besedilu pravilnika, ki ga objavlja Cloudflare:
search: gradnja iskalnega indeksa in zagotavljanje rezultatov iskanja, na primer vračanje hiperpovezav in kratkih izsekov iz vaših strani. Opredelitev navaja, da search ne vključuje povzetkov iskanja, ki jih ustvari UI.ai-input: vnos vsebine v enega ali več modelov UI, na primer retrieval augmented generation, grounding ali druga sprotna raba vsebine za odgovore generativnega iskanja z UI.ai-train: učenje ali dodatno prilagajanje modelov UI.
Vsak signal ima vrednost yes ali no. V izrazih pravilnika yes pomeni, da se vsebina za to rabo sme zbirati, no pomeni, da se ne sme, signal, ki ga izpustite, pa te rabe niti ne dovoli niti ne omeji. Cloudflarova privzeta nastavitev določi search in ai-train, ai-input pa pusti nenastavljen, ker po njegovih besedah ne pozna preference vsake stranke za ta signal in noče ugibati.
Razliko med search in ai-input večina ljudi spregleda. Če želite, da se vaše strani uporabljajo v odgovorih UI, samo search=yes tega ne pove. ai-input=yes pa.
Kako zapišem vrstico Content-Signal v robots.txt?
Content-Signal sodi v skupino uporabniškega agenta, ob Allow in Disallow, signali pa so ločeni z vejicami. contentsignals.org pokaže tudi obliko, ki se začne s potjo, tako da ima lahko en del mesta drugačne signale od preostanka:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow in Disallow delujeta povsem enako kot prej in Content-Signal ju ne nadomešča. RFC 9309 pajkom dovoli razlagati zapise, ki niso del protokola, dokler to ne posega v opredeljena pravila, zato bi razčlenjevalnik, ki vrstice ne pozna, moral to vrstico preskočiti.
Dobro je poznati dve podrobnosti. Prvič, vrstica pripada skupini. Po RFC 9309 pajek, ki ima skupino s svojim imenom, skupino User-agent: * v celoti prezre, strani Content Signals pa za to vrstico ne opisujejo nobene izjeme. Če Googlebot ali OAI-SearchBot date svojo skupino, vrstico Content-Signal ponovite tam, kot to stori contentsignals.org v svojem primeru za posamezne pajke. Drugič, Google Search Console lahko za vrstico javi Syntax not understood. Cloudflarova dokumentacija to omenja in navaja, da ni opazila vpliva na pregledovanje ali SEO. Googlova dokumentacija za robots.txt kot podprta polja navaja le user-agent, allow, disallow in sitemap.
Kaj pove besedilo pravilnika nad vrstico?
Content Signals Policy ni le ena vrstica. Cloudflarov generator na contentsignals.org in njegov upravljani robots.txt nad signale postavita blok komentarjev. Začne se z navedbo, da se kot pogoj za dostop do spletnega mesta strinjate z upoštevanjem content signals, nato opredeli tri signale in primere yes, no in manjkajoče vrednosti.
Konča se s stavkom z velikimi črkami, ki navaja, da so vse omejitve, izražene prek content signals, izrecni pridržki pravic po členu 4 Direktive EU 2019/790 o avtorski pravici na enotnem digitalnem trgu. Cloudflarovo obvestilo dodaja, da imajo signali lahko pravno težo v različnih jurisdikcijah.
Sam contentsignals.org opozarja, da lahko sodišča in regulatorji zaključijo, da datoteke robots.txt ne nalagajo izvršljivih pravnih obveznosti, in predlaga posvet s pravnikom. Blok komentarjev jemljite kot pisno izjavo svojega stališča, ne kot pogodbo.
Ali je Content-Signal že v mojem robots.txt?
Če je vaše mesto na Cloudflaru, je lahko, in sicer na enega od dveh načinov:
- Upravljani robots.txt. Ko je vklopljen Bot Preference Sync in je vsaj en AI Crawler and Agent access policy nastavljen na Block, Block on pages with ads ali pri Training na Disallow, Cloudflare pred robots.txt, ki ga pošlje vaš strežnik, doda upravljani blok. Ta vsebuje besedilo pravilnika,
Content-signal: search=yes, ai-train=no, use=referencepodUser-Agent: *inDisallow: /zaAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotinmeta-externalagent. - Brez robots.txt. Cloudflare navaja, da domene v paketu Free, ki nimajo svojega robots.txt in ne uporabljajo upravljane funkcije, prikažejo Content Signals Policy, ko pajek zahteva
/robots.txt. Ta različica vsebuje opredelitve, ne navaja pa nobene preference.
Del use=reference je nov. Cloudflare use opisuje kot neobvezno četrto polje, ki ga preizkuša, s tremi vrednostmi: immediate (interakcija brez shranjevanja in ponovne rabe), reference (indeksiranje, izsek in povezava nazaj) in full (povzemanje in reprodukcija). Ni eden od treh prvotnih signalov in ga ne omenja nobena dokumentacija o pajkih, ki smo jo preverili.
Ker Cloudflare te vrstice doda na robu omrežja, je lahko datoteka v vašem repozitoriju videti nespremenjena, datoteka, ki jo dobijo pajki, pa je drugačna. Preden dodate svojo vrstico, prenesite živi https://yourdomain.com/robots.txt, da odgovor ne bo navajal dveh različnih pravilnikov.
Med velikimi mesti je razširjenost še majhna. V naši novembrski raziskavi 1.000 najbolj priljubljenih domen iz leta 2026 je Content-Signal uporabljalo 18 od 518 mest, ki so stregla robots.txt (3,5 %).
Ali pajki UI upoštevajo Content-Signal?
Po nobeni dokumentaciji, ki smo jo našli, ne. 17. novembra 2026 smo preverili strani o pajkih OpenAI, Anthropic, Google in Perplexity in nobena ne omenja Content-Signal. Cloudflare sam signale opisuje kot preference, ne kot tehnične ukrepe proti strganju vsebine, in navaja, da jih nekatera podjetja morda preprosto prezrejo.
Podjetja UI so namesto tega dokumentirala ločen mehanizem, ki temelji na delu delovne skupine IETF AI Preferences: žeton pravilnika __usage_ai-training, zapisan kot običajna skupina User-Agent. Zadeva le učenje, Internet-Draft, ki ga opredeljuje, pa navaja, da se skupina User-Agent: * ne šteje kot uporaba žetona:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Podpora je neenakomerna in deloma še prihaja. Anthropic navaja, da splošni strojno berljivi signal za učenje prepoznava od 30. oktobra 2026, ga uvaja postopoma in da ima pravilo, ki navaja ClaudeBot, prednost pred njim. Microsoft dokumentira žeton __usage_ai-training za Bing, nove preference pa začnejo veljati, ko se strani pregledujejo od 1. februarja 2027. Google navaja, da skupni nadzor namerava podpreti leta 2027 in da bo zavrnitev učenja prek njega obravnaval kot prepoved Google-Extended, kadar ta žeton ni naveden. OpenAI je isti dan objavil obvestilo, da bo skupni signal upošteval, brez datuma.
ai-train=no in __usage_ai-training torej povesta podobno, a dokumentirano podporo podjetij UI ima le drugi. Žetoni posameznih pajkov, kot sta GPTBot in ClaudeBot, ostajajo nastavitve, ki jih vsak ponudnik uporablja danes.
Ali naj v svoj robots.txt dodam Content-Signal?
Dodajte ga, če želite svoj pravilnik o rabi zapisati na enem mestu, ki ga lahko preberejo stroji in ljudje. Poleg tega z eno vrstico izrazi preferenco ai-input za vse pajke, kar žetoni ponudnikov zmorejo le pajek za pajkom. Stane eno vrstico, razčlenjevalniki, ki je ne poznajo, pa jo preskočijo.
Ne zanašajte se samo nanj. Če želite vsebino obdržati zunaj učenja, prepovejte tudi dokumentirane žetone za učenje in razmislite o skupnem žetonu za učenje; naš vodnik o blokiranju učenja UI ob ohranitvi iskanja z UI navaja žetone po ponudnikih. Za vse, kar robots.txt prezre, blokado uveljavi le pravilo požarnega zidu.
Nazadnje preverite, ali se vrstica ujema s preostankom datoteke. ai-input=no ob skupini Allow za OAI-SearchBot ali PerplexityBot pošilja nasprotujoča si sporočila: iskalne pajke UI spustite noter, hkrati pa pravite, da njihovi odgovori ne smejo uporabiti tega, kar prenesejo.
Kako preverim, kaj moj robots.txt pove vsakemu pajku?
Brezplačni tester robots.txt v AISeeWhy sprejme naslov strani ali prilepljen robots.txt in za vsakega pajka UI in iskalnika pokaže, ali se stran sme prenesti, tako da lahko potrdite, da živa datoteka, vključno z vsem, kar je Cloudflare dodal pred njo, pove to, kar ste mislili. Brezplačni generator robots.txt datoteko zapiše po vaših izbirah.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Ali je Content-Signal del standarda robots.txt?
Ne. RFC 9309 opredeljuje User-agent, Allow in Disallow ter pajkom dovoli razlagati druge zapise. Content-Signal izhaja iz Cloudflarovega Content Signals Policy, izdanega pod licenco CC0. Ločeno delovna skupina IETF AI Preferences pripravlja svoje pravilo Content-Usage za robots.txt, ki je še vedno Internet-Draft, ne standard.
Ali ai-train=no ustavi GPTBot ali ClaudeBot?
Po dokumentaciji ponudnikov ne. OpenAI in Anthropic opisujeta nadzor s pravili robots.txt, ki navajajo GPTBot in ClaudeBot, in nobena stran o pajkih ne omenja Content-Signal. Če želite zavrniti učenje pri katerem koli od njiju, žeton prepovejte po imenu.
Kakšna je razlika med Content-Signal in __usage_ai-training?
Content-Signal je vrstica znotraj skupine in zajema iskanje, vnos v UI in učenje. __usage_ai-training je žeton pravilnika, ki se uporablja kot samostojna skupina User-Agent, in zajema le učenje. Anthropic, Microsoft, Google in OpenAI so objavili izjave o skupnem signalu za učenje; nobeden ne dokumentira Content-Signal.
Zakaj Google Search Console javlja Syntax not understood?
Googlova dokumentacija za robots.txt podpira le user-agent, allow, disallow in sitemap, zato so lahko druge vrstice označene. Cloudflare navaja, da zaradi teh poročil ni opazil vpliva na hitrost pregledovanja ali SEO.
Kaj pomeni use=reference?
To je četrto polje, ki ga Cloudflare preizkuša. reference pomeni indeksiranje, izsek in povezavo nazaj. Cloudflare ga dodaja v upravljane datoteke robots.txt, ne omenja pa ga nobena dokumentacija o pajkih, ki smo jo preverili.
Viri
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: upravljani robots.txt in Content Signals
- Cloudflare: pravilniki dostopa za pajke in agente UI
- RFC 9309: Robots Exclusion Protocol
- Google: kako Google razlaga specifikacijo robots.txt
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Ali Anthropic pajka podatke s spleta in kako lahko lastniki spletnih mest pajka blokirajo?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: pregled pajkov OpenAI
- Perplexity: pajki Perplexity
- AISeeWhy: poročilo o dostopu pajkov UI, 2026-11