Hva er Content-Signal i robots.txt, og følger noen det?

Publisert

Kort svar

Content-Signal er en valgfri linje i robots.txt, publisert av Cloudflare, som sier hvordan innholdet ditt kan brukes etter at det er hentet: search for søkeresultater, ai-input for å mate det inn i AI-svar og ai-train for å trene modeller, hver satt til yes eller no, som i Content-Signal: search=yes, ai-input=yes, ai-train=no. Den uttrykker et ønske og blokkerer ingenting. Per november 2026 sier ingen av crawlersidene til OpenAI, Anthropic, Google eller Perplexity at de leser den, mens de store AI-selskapene i stedet har støttet et annet token som bare gjelder trening.

robots.txt ble laget for å si hvor en crawler kan gå, ikke hva som kan gjøres med det den leser. Da den samme hentingen kunne mate en søkeindeks, et AI-svar i sanntid og et treningssett, ble det hullet viktig. Cloudflare publiserte Content Signals Policy 24. september 2025 under en CC0-lisens for å fylle det, og sa da at kundene allerede hadde slått på administrert robots.txt for over 3,8 millioner domener, en funksjon som nå legger til linjen for dem.

På denne siden
  1. Hva betyr search, ai-input og ai-train?
  2. Hvordan skriver jeg en Content-Signal-linje i robots.txt?
  3. Hva sier policyteksten over linjen?
  4. Ligger Content-Signal allerede i robots.txt-filen min?
  5. Følger AI-crawlere Content-Signal?
  6. Bør jeg legge til Content-Signal i robots.txt?
  7. Hvordan sjekker jeg hva robots.txt sier til hver crawler?

Hva betyr search, ai-input og ai-train?

Policyen definerer tre signaler. Ordlyden under følger contentsignals.org og policyteksten Cloudflare publiserer:

Hvert signal tar yes eller no. Med policyens ord betyr yes at innhold kan samles inn til den bruken, no at det ikke kan, og et signal du utelater, verken gir eller begrenser den bruken. Cloudflares standard setter search og ai-train og lar ai-input stå uten verdi, fordi selskapet sier at det ikke kjenner hver kundes ønske for det signalet og ikke vil gjette.

Skillet mellom search og ai-input er det de fleste overser. Hvis du vil at sidene dine skal brukes i AI-svar, sier ikke search=yes alene det. Det gjør ai-input=yes.

Hvordan skriver jeg en Content-Signal-linje i robots.txt?

Content-Signal står inne i en user agent-gruppe, ved siden av Allow og Disallow, med signalene adskilt med komma. contentsignals.org viser også en form som starter med en bane, slik at én del av et nettsted kan ha andre signaler enn resten:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow og Disallow fungerer akkurat som før, og Content-Signal erstatter dem ikke. RFC 9309 lar crawlere tolke oppføringer som ikke er en del av protokollen, så lenge det ikke forstyrrer de definerte reglene, så en parser som ikke kjenner linjen, skal hoppe over den.

To detaljer er verdt å kjenne til. For det første hører linjen til en gruppe. Etter RFC 9309 ignorerer en crawler som har en gruppe med sitt eget navn, gruppen User-agent: * helt, og sidene om Content Signals beskriver ikke noe unntak for denne linjen. Gir du Googlebot eller OAI-SearchBot en egen gruppe, gjentar du Content-Signal-linjen der, slik contentsignals.org gjør i eksempelet per crawler. For det andre kan Google Search Console rapportere Syntax not understood for linjen. Cloudflares dokumentasjon nevner dette og sier at selskapet ikke har sett noen innvirkning på gjennomsøking eller SEO. Googles robots.txt-dokumentasjon lister bare user-agent, allow, disallow og sitemap som støttede felt.

Hva sier policyteksten over linjen?

Content Signals Policy er mer enn én linje. Cloudflares generator på contentsignals.org og den administrerte robots.txt-filen legger begge en kommentarblokk over signalene. Den åpner med at du, som et vilkår for å bruke nettstedet, godtar å følge innholdssignalene, og definerer deretter de tre signalene og tilfellene yes, no og manglende verdi.

Den avsluttes med en setning i store bokstaver om at alle begrensninger uttrykt gjennom innholdssignaler er uttrykkelige forbehold om rettigheter etter Article 4 i EU Directive 2019/790 om opphavsrett i Digital Single Market. Cloudflares kunngjøring legger til at signalene kan ha juridisk vekt i ulike jurisdiksjoner.

contentsignals.org advarer selv om at domstoler og myndigheter kan komme til at robots.txt-filer ikke pålegger håndhevbare juridiske forpliktelser, og foreslår å rådføre seg med en advokat. Se på kommentarblokken som en skriftlig erklæring om ditt standpunkt, ikke som en kontrakt.

Ligger Content-Signal allerede i robots.txt-filen min?

Hvis nettstedet ditt er på Cloudflare, kan den gjøre det, på en av to måter:

Delen use=reference er ny. Cloudflare beskriver use som et valgfritt fjerde felt selskapet tester, med tre verdier: immediate (samhandle, men ikke lagre eller gjenbruke noe), reference (indeksere, sitere utdrag og lenke tilbake) og full (oppsummere og gjengi). Det er ikke ett av de tre opprinnelige signalene, og ingen av crawlerdokumentasjonene vi sjekket, nevner det.

Fordi Cloudflare legger til disse linjene på edge, kan filen i repositoriet se uendret ut mens filen crawlerne får, er en annen. Hent den publiserte https://yourdomain.com/robots.txt før du legger til din egen linje, slik at svaret ikke uttrykker to ulike policyer.

Utbredelsen er fortsatt lav blant store nettsteder. I vår undersøkelse fra november 2026 av de 1 000 mest populære domenene brukte 18 av de 518 nettstedene som leverte en robots.txt (3,5 %), Content-Signal.

Følger AI-crawlere Content-Signal?

Ikke ifølge noen dokumentasjon vi har funnet. 17. november 2026 sjekket vi crawlersidene til OpenAI, Anthropic, Google og Perplexity, og ingen av dem nevner Content-Signal. Cloudflare beskriver selv signalene som ønsker, ikke tekniske mottiltak mot skraping, og sier at noen selskaper kanskje bare ignorerer dem.

Det AI-selskapene i stedet har dokumentert, er en egen mekanisme basert på arbeid i IETFs arbeidsgruppe AI Preferences: et policytoken, __usage_ai-training, skrevet som en vanlig User-Agent-gruppe. Det gjelder bare trening, og Internet-Draft-dokumentet som definerer det, sier at en User-Agent: *-gruppe ikke regnes som bruk av tokenet:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Støtten er ujevn og delvis fortsatt på vei. Anthropic sier at selskapet har gjenkjent et generelt maskinlesbart treningssignal siden 30. oktober 2026, ruller det ut gradvis, og at en regel som nevner ClaudeBot, har forrang over det. Microsoft dokumenterer tokenet __usage_ai-training for Bing, med de nye preferansene i kraft etter hvert som sider gjennomsøkes fra 1. februar 2027. Google sier at selskapet tar sikte på å støtte den felles kontrollen i 2027 og planlegger å behandle en reservasjon mot trening gjennom den som en disallow av Google-Extended når det tokenet ikke er nevnt. OpenAI publiserte samme dag en kunngjøring om at selskapet vil følge det felles signalet, uten dato.

Så ai-train=no og __usage_ai-training sier omtrent det samme, men bare det andre har dokumentert støtte fra AI-selskaper. Tokenene per crawler, som GPTBot og ClaudeBot, er fortsatt kontrollene hver leverandør bruker i dag.

Bør jeg legge til Content-Signal i robots.txt?

Legg den til hvis du vil ha bruksvilkårene dine skrevet ned ett sted som både maskiner og mennesker kan lese. Den uttrykker også et ai-input-ønske for alle crawlere på én linje, noe leverandørenes tokener bare kan uttrykke crawler for crawler. Det koster én linje, og parsere som ikke kjenner den, hopper over den.

Ikke stol på den alene. For å holde innhold unna trening bør du også forby de dokumenterte treningstokenene og vurdere det felles treningstokenet; guiden vår om å blokkere AI-trening og samtidig bli i AI-søk lister tokenene per leverandør. For alt som ignorerer robots.txt, er det bare en brannmurregel som håndhever en blokkering.

Sjekk til slutt at linjen stemmer med resten av filen. ai-input=no ved siden av en Allow-gruppe for OAI-SearchBot eller PerplexityBot sender blandede signaler: du slipper inn AI-søkecrawlerne samtidig som du sier at svarene deres ikke får bruke det de henter.

Hvordan sjekker jeg hva robots.txt sier til hver crawler?

Den gratis robots.txt-sjekken fra AISeeWhy tar en sideadresse eller en innlimt robots.txt og viser for hver AI- og søkecrawler om siden kan hentes, slik at du kan bekrefte at filen som ligger ute, inkludert det Cloudflare har lagt foran, sier det du mente. Den gratis robots.txt-generatoren skriver en fil ut fra valgene dine.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Er Content-Signal en del av robots.txt-standarden?

Nei. RFC 9309 definerer User-agent, Allow og Disallow og lar crawlere tolke andre oppføringer. Content-Signal kommer fra Cloudflares Content Signals Policy, utgitt under en CC0-lisens. I tillegg utarbeider IETFs arbeidsgruppe AI Preferences sin egen Content-Usage-regel for robots.txt, som fortsatt er et Internet-Draft, ikke en standard.

Stopper ai-train=no GPTBot eller ClaudeBot?

Ikke så vidt leverandørene dokumenterer. OpenAI og Anthropic beskriver kontroll gjennom robots.txt-regler som nevner GPTBot og ClaudeBot, og ingen av crawlersidene nevner Content-Signal. For å reservere deg mot trening hos noen av dem forbyr du tokenet ved navn.

Hva er forskjellen på Content-Signal og __usage_ai-training?

Content-Signal er en linje inne i en gruppe og dekker søk, AI-input og trening. __usage_ai-training er et policytoken som brukes som en egen User-Agent-gruppe og dekker bare trening. Anthropic, Microsoft, Google og OpenAI har publisert uttalelser om det felles treningssignalet; ingen av dem dokumenterer Content-Signal.

Hvorfor sier Google Search Console Syntax not understood?

Googles robots.txt-dokumentasjon støtter bare user-agent, allow, disallow og sitemap, så andre linjer kan bli flagget. Cloudflare sier at selskapet ikke har sett noen innvirkning på gjennomsøkingstakt eller SEO fra disse rapportene.

Hva betyr use=reference?

Det er et fjerde felt Cloudflare tester. reference betyr indeksere, sitere utdrag og lenke tilbake. Cloudflare legger det til i administrerte robots.txt-filer, og ingen crawlerdokumentasjon vi sjekket, nevner det.

Kilder

Flere artikler