Što je Content-Signal u robots.txt i poštuje li ga itko?
Content-Signal je neobavezan redak u robots.txt koji je objavio Cloudflare i koji navodi kako se vaš sadržaj smije koristiti nakon što je dohvaćen: search za rezultate pretraživanja, ai-input za unos u AI odgovore i ai-train za treniranje modela, svaki postavljen na yes ili no, kao u Content-Signal: search=yes, ai-input=yes, ai-train=no. Izražava preferenciju i ništa ne blokira. U studenome 2026. nijedna stranica o crawlerima OpenAI-ja, Anthropica, Googlea ni Perplexityja ne navodi da ga čita, dok su velike AI tvrtke umjesto toga podržale drugi token, samo za treniranje.
robots.txt je nastao kako bi rekao kamo crawler smije ići, a ne što se smije raditi s onim što pročita. Kad je isto dohvaćanje moglo hraniti indeks pretraživanja, AI odgovor uživo i skup za treniranje, ta je praznina postala važna. Cloudflare je 24. rujna 2025. objavio Content Signals Policy pod licencom CC0 kako bi je popunio i tada naveo da su njegovi korisnici već uključili upravljani robots.txt za više od 3,8 milijuna domena, a ta značajka sada za njih dodaje taj redak.
Na ovoj stranici
- Što znače search, ai-input i ai-train?
- Kako napisati redak Content-Signal u robots.txt?
- Što kaže tekst pravila iznad retka?
- Je li Content-Signal već u mom robots.txt?
- Poštuju li AI crawleri Content-Signal?
- Trebam li dodati Content-Signal u svoj robots.txt?
- Kako provjeriti što moj robots.txt govori svakom crawleru?
Što znače search, ai-input i ai-train?
Pravila definiraju tri signala. Formulacije u nastavku slijede contentsignals.org i tekst pravila koji objavljuje Cloudflare:
search: izgradnja indeksa pretraživanja i davanje rezultata pretraživanja, na primjer vraćanje hiperveza i kratkih isječaka s vaših stranica. Definicija navodi da search ne uključuje sažetke pretraživanja koje generira AI.ai-input: unos sadržaja u jedan ili više AI modela, na primjer retrieval augmented generation, utemeljenje (grounding) ili drugo korištenje sadržaja u stvarnom vremenu za odgovore generativnog AI pretraživanja.ai-train: treniranje ili fino podešavanje AI modela.
Svaki signal prima yes ili no. Prema uvjetima pravila, yes znači da se sadržaj smije prikupljati za tu namjenu, no da ne smije, a signal koji izostavite tu namjenu niti dopušta niti ograničava. Cloudflareova zadana postavka postavlja search i ai-train, a ai-input ostavlja nepostavljenim jer, kako navodi, ne zna preferenciju svakog korisnika za taj signal i ne želi nagađati.
Razliku između search i ai-input većina ljudi previdi. Ako želite da se vaše stranice koriste u AI odgovorima, sam search=yes to ne kaže. ai-input=yes kaže.
Kako napisati redak Content-Signal u robots.txt?
Content-Signal ide unutar grupe user agenta, uz Allow i Disallow, sa signalima odvojenima zarezima. contentsignals.org prikazuje i oblik koji počinje putanjom, pa jedan dio web-stranice može imati drugačije signale od ostatka:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow i Disallow rade točno kao i prije, a Content-Signal ih ne zamjenjuje. RFC 9309 crawlerima dopušta tumačenje zapisa koji nisu dio protokola, sve dok to ne ometa definirana pravila, pa bi parser koji ne poznaje taj redak trebao ga preskočiti.
Vrijedi znati dvije pojedinosti. Prvo, redak pripada grupi. Prema RFC 9309 crawler koji ima grupu sa svojim imenom potpuno zanemaruje grupu User-agent: *, a stranice o Content Signals ne opisuju nikakvu iznimku za ovaj redak. Ako Googlebot ili OAI-SearchBot dobiju vlastitu grupu, ponovite u njoj redak Content-Signal, kao što contentsignals.org čini u svom primjeru po crawleru. Drugo, Google Search Console za taj redak može prijaviti Syntax not understood. Cloudflareova dokumentacija to spominje i navodi da nije primijetio nikakav utjecaj na pretraživanje ni SEO. Googleova dokumentacija o robots.txt kao podržana polja navodi samo user-agent, allow, disallow i sitemap.
Što kaže tekst pravila iznad retka?
Content Signals Policy više je od jednog retka. Cloudflareov generator na contentsignals.org i njegov upravljani robots.txt iznad signala stavljaju blok komentara. On počinje navodom da kao uvjet pristupa web-stranici pristajete poštovati content signals, a zatim definira tri signala te slučajeve yes, no i izostanka.
Završava rečenicom napisanom velikim slovima koja kaže da su sva ograničenja izražena putem content signals izričite zadrške prava prema članku 4. Direktive EU 2019/790 o autorskom pravu na jedinstvenom digitalnom tržištu. Cloudflareova najava dodaje da signali u raznim jurisdikcijama mogu imati pravnu težinu.
Sam contentsignals.org upozorava da sudovi i regulatori mogu zaključiti da datoteke robots.txt ne nameću provedive pravne obveze i predlaže savjetovanje s odvjetnikom. Blok komentara smatrajte pisanom izjavom svog stava, a ne ugovorom.
Je li Content-Signal već u mom robots.txt?
Ako je vaša web-stranica na Cloudflareu, možda jest, na jedan od dva načina:
- Upravljani robots.txt. Kad je uključen Bot Preference Sync i barem jedno pravilo AI Crawler and Agent access postavljeno na Block, Block on pages with ads ili, za Training, Disallow, Cloudflare ispred robots.txt koji šalje vaš poslužitelj stavlja upravljani blok. On sadrži tekst pravila,
Content-signal: search=yes, ai-train=no, use=referencepodUser-Agent: *iDisallow: /zaAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotimeta-externalagent. - Uopće nema robots.txt. Cloudflare navodi da domene na planu Free koje nemaju vlastiti robots.txt i ne koriste upravljanu značajku prikazuju Content Signals Policy kad crawler zatraži
/robots.txt. Ta verzija sadrži definicije, ali ne navodi nikakvu preferenciju.
Dio use=reference je nov. Cloudflare use opisuje kao neobavezno četvrto polje koje testira, s tri vrijednosti: immediate (interakcija, ali bez pohrane i ponovnog korištenja), reference (indeksiranje, isječak i poveznica natrag) i full (sažimanje i reproduciranje). Nije jedan od tri izvorna signala i ne spominje ga nijedna dokumentacija o crawlerima koju smo provjerili.
Budući da Cloudflare te retke dodaje na rubu mreže, datoteka u vašem repozitoriju može izgledati nepromijenjeno dok je datoteka koju crawleri dobivaju drugačija. Prije dodavanja vlastitog retka dohvatite aktivni https://yourdomain.com/robots.txt kako odgovor ne bi navodio dva različita pravila.
Među velikim web-stranicama prihvaćenost je još niska. U našem istraživanju 1.000 najpopularnijih domena iz studenoga 2026., od 518 web-stranica koje su posluživale robots.txt njih 18 (3,5 %) koristilo je Content-Signal.
Poštuju li AI crawleri Content-Signal?
Ne prema dokumentaciji koju smo mogli pronaći. Dana 17. studenoga 2026. provjerili smo stranice o crawlerima OpenAI-ja, Anthropica, Googlea i Perplexityja i nijedna ne spominje Content-Signal. Sam Cloudflare signale opisuje kao preferencije, a ne tehničke protumjere protiv struganja sadržaja, i navodi da ih neke tvrtke mogu jednostavno zanemariti.
AI tvrtke umjesto toga dokumentiraju zaseban mehanizam koji se temelji na radu radne skupine IETF AI Preferences: token pravila, __usage_ai-training, napisan kao obična grupa User-Agent. Obuhvaća samo treniranje, a Internet-Draft koji ga definira navodi da se grupa User-Agent: * ne smatra korištenjem tog tokena:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Podrška je neujednačena i dijelom tek dolazi. Anthropic navodi da od 30. listopada 2026. prepoznaje opći strojno čitljiv signal za treniranje, da ga postupno uvodi i da pravilo koje navodi ClaudeBot ima prednost pred njim. Microsoft dokumentira token __usage_ai-training za Bing, a njegove nove preferencije stupaju na snagu kako se stranice pretražuju od 1. veljače 2027. Google navodi da namjerava podržati zajedničku kontrolu 2027. i da isključivanje iz treniranja putem nje planira tretirati kao zabranu za Google-Extended kad taj token nije naveden. OpenAI je istog dana objavio najavu da će poštovati zajednički signal, bez datuma.
Dakle, ai-train=no i __usage_ai-training kažu slične stvari, ali samo drugi ima dokumentiranu podršku AI tvrtki. Tokeni po crawleru, poput GPTBot i ClaudeBot, ostaju kontrole koje svaki dobavljač danas primjenjuje.
Trebam li dodati Content-Signal u svoj robots.txt?
Dodajte ga ako želite da vaša pravila korištenja budu zapisana na jednom mjestu koje mogu čitati i strojevi i ljudi. On u jednom retku navodi i preferenciju ai-input za svaki crawler, što tokeni dobavljača mogu izraziti samo crawler po crawler. Stoji jedan redak, a parseri koji ga ne poznaju preskaču ga.
Ne oslanjajte se samo na njega. Da biste sadržaj zadržali izvan treniranja, zabranite i dokumentirane tokene za treniranje i razmotrite zajednički token za treniranje; naš vodič o blokiranju AI treniranja uz ostanak u AI pretraživanju navodi tokene po dobavljaču. Za sve što zanemaruje robots.txt blokadu provodi samo pravilo vatrozida.
Na kraju provjerite slaže li se redak s ostatkom datoteke. ai-input=no uz grupu Allow za OAI-SearchBot ili PerplexityBot šalje proturječne poruke: AI crawlere za pretraživanje puštate unutra, a istodobno kažete da njihovi odgovori ne smiju koristiti ono što dohvate.
Kako provjeriti što moj robots.txt govori svakom crawleru?
Besplatni alat AISeeWhy za provjeru robots.txt prima adresu stranice ili zalijepljeni robots.txt i za svaki AI crawler i crawler tražilice pokazuje smije li se ta stranica dohvatiti, pa možete potvrditi da aktivna datoteka, uključujući ono što je Cloudflare dodao ispred nje, kaže ono što ste namjeravali. Besplatni generator robots.txt piše datoteku prema vašim odabirima.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Je li Content-Signal dio standarda robots.txt?
Nije. RFC 9309 definira User-agent, Allow i Disallow i crawlerima dopušta tumačenje drugih zapisa. Content-Signal potječe iz Cloudflareove Content Signals Policy, objavljene pod licencom CC0. Zasebno, radna skupina IETF AI Preferences izrađuje vlastito pravilo Content-Usage za robots.txt, koje je još Internet-Draft, a ne standard.
Zaustavlja li ai-train=no GPTBot ili ClaudeBot?
Ne, koliko dobavljači dokumentiraju. OpenAI i Anthropic opisuju kontrolu putem pravila u robots.txt koja navode GPTBot i ClaudeBot, a nijedna stranica o crawlerima ne spominje Content-Signal. Da biste se kod bilo kojeg od njih isključili iz treniranja, zabranite token po imenu.
Koja je razlika između Content-Signal i __usage_ai-training?
Content-Signal je redak unutar grupe i obuhvaća pretraživanje, AI unos i treniranje. __usage_ai-training je token pravila koji se koristi kao vlastita grupa User-Agent i obuhvaća samo treniranje. Anthropic, Microsoft, Google i OpenAI objavili su izjave o zajedničkom signalu za treniranje; nijedan od njih ne dokumentira Content-Signal.
Zašto Google Search Console prikazuje Syntax not understood?
Googleova dokumentacija o robots.txt podržava samo user-agent, allow, disallow i sitemap, pa drugi retci mogu biti označeni. Cloudflare navodi da nije primijetio nikakav utjecaj tih prijava na brzinu pretraživanja ni SEO.
Što znači use=reference?
To je četvrto polje koje Cloudflare testira. reference znači indeksiranje, isječak i poveznicu natrag. Cloudflare ga dodaje u upravljane datoteke robots.txt, a ne spominje ga nijedna dokumentacija o crawlerima koju smo provjerili.
Izvori
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: izvještaj o pristupu AI crawlera, 2026-11