Hvad er Content-Signal i robots.txt, og følger nogen det?
Content-Signal er en valgfri linje i robots.txt, udgivet af Cloudflare, der angiver, hvordan dit indhold må bruges, efter at det er hentet: search til søgeresultater, ai-input til brug i AI-svar og ai-train til træning af modeller, hver sat til yes eller no, som i Content-Signal: search=yes, ai-input=yes, ai-train=no. Den udtrykker en præference og blokerer ingenting. Pr. november 2026 siger ingen af crawlersiderne fra OpenAI, Anthropic, Google eller Perplexity, at de læser den, mens de store AI-virksomheder i stedet har bakket op om et andet token, der kun gælder træning.
robots.txt blev lavet til at sige, hvor en crawler må gå, ikke hvad der må gøres med det, den læser. Da den samme hentning kunne føde et søgeindeks, et live AI-svar og et træningssæt, blev det hul vigtigt. Cloudflare udgav Content Signals Policy den 24. september 2025 under en CC0-licens for at lukke det og sagde dengang, at kunderne allerede havde slået administreret robots.txt til for over 3,8 millioner domæner, en funktion, der nu tilføjer linjen for dem.
På denne side
- Hvad betyder search, ai-input og ai-train?
- Hvordan skriver jeg en Content-Signal-linje i robots.txt?
- Hvad siger politikteksten over linjen?
- Står Content-Signal allerede i min robots.txt?
- Følger AI-crawlere Content-Signal?
- Bør jeg tilføje Content-Signal til min robots.txt?
- Hvordan kan jeg tjekke, hvad min robots.txt siger til hver crawler?
Hvad betyder search, ai-input og ai-train?
Politikken definerer tre signaler. Ordlyden nedenfor følger contentsignals.org og den politiktekst, Cloudflare udgiver:
search: at opbygge et søgeindeks og levere søgeresultater, for eksempel ved at returnere hyperlinks og korte uddrag fra dine sider. Ifølge definitionen omfatter search ikke AI-genererede søgeopsummeringer.ai-input: at føre indhold ind i en eller flere AI-modeller, for eksempel retrieval augmented generation, grounding eller anden realtidsbrug af indhold til generative AI-søgesvar.ai-train: at træne eller finjustere AI-modeller.
Hvert signal tager yes eller no. I politikkens forstand betyder yes, at indhold må indsamles til den brug, no, at det ikke må, og et signal, du udelader, hverken giver eller begrænser den brug. Cloudflares standard sætter search og ai-train og lader ai-input stå tomt, fordi Cloudflare siger, at den ikke kender hver kundes præference for det signal og ikke vil gætte.
Opdelingen mellem search og ai-input er den, de fleste overser. Hvis du vil have dine sider brugt i AI-svar, siger search=yes alene ikke det. Det gør ai-input=yes.
Hvordan skriver jeg en Content-Signal-linje i robots.txt?
Content-Signal står inde i en user agent-gruppe, ved siden af Allow og Disallow, med signalerne adskilt af kommaer. contentsignals.org viser også en form, der starter med en sti, så én del af et site kan have andre signaler end resten:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow og Disallow virker præcis som før, og Content-Signal erstatter dem ikke. RFC 9309 lader crawlere fortolke poster, der ikke er en del af protokollen, så længe det ikke forstyrrer de definerede regler, så en parser, der ikke kender linjen, bør springe den over.
To detaljer er værd at kende. For det første hører linjen til en gruppe. Ifølge RFC 9309 ignorerer en crawler, der har en gruppe med sit eget navn, gruppen User-agent: * helt, og siderne om Content Signals beskriver ingen undtagelse for denne linje. Hvis du giver Googlebot eller OAI-SearchBot en gruppe for sig selv, så gentag Content-Signal-linjen der, som contentsignals.org gør i sit eksempel pr. crawler. For det andet kan Google Search Console rapportere Syntax not understood for linjen. Cloudflares dokumentation nævner det og siger, at den ikke har set nogen indvirkning på crawling eller SEO. Googles dokumentation til robots.txt nævner kun user-agent, allow, disallow og sitemap som understøttede felter.
Hvad siger politikteksten over linjen?
Content Signals Policy er mere end én linje. Cloudflares generator på contentsignals.org og dens administrerede robots.txt sætter begge en blok af kommentarer over signalerne. Den indledes med, at du som betingelse for at tilgå websitet accepterer at overholde content signals, og definerer derefter de tre signaler og tilfældene yes, no og manglende værdi.
Den slutter med en sætning med store bogstaver om, at alle begrænsninger udtrykt via content signals er udtrykkelige forbehold af rettigheder efter artikel 4 i EU-direktiv 2019/790 om ophavsret på det digitale indre marked. Cloudflares meddelelse tilføjer, at signalerne kan have juridisk vægt i forskellige jurisdiktioner.
contentsignals.org advarer selv om, at domstole og myndigheder kan nå frem til, at robots.txt-filer ikke pålægger håndhævelige juridiske forpligtelser, og foreslår at spørge en advokat. Betragt kommentarblokken som en skriftlig erklæring om din holdning, ikke som en kontrakt.
Står Content-Signal allerede i min robots.txt?
Hvis dit site ligger på Cloudflare, gør den måske, på en af to måder:
- Administreret robots.txt. Når Bot Preference Sync er slået til, og mindst én AI Crawler and Agent access policy står på Block, Block on pages with ads eller, for Training, Disallow, sætter Cloudflare en administreret blok foran den robots.txt, din server sender. Den indeholder politikteksten,
Content-signal: search=yes, ai-train=no, use=referenceunderUser-Agent: *ogDisallow: /forAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotogmeta-externalagent. - Slet ingen robots.txt. Ifølge Cloudflare viser domæner på Free-planen, som ikke har deres egen robots.txt og ikke bruger den administrerede funktion, Content Signals Policy, når en crawler anmoder om
/robots.txt. Den version indeholder definitionerne, men angiver ingen præference.
Delen use=reference er ny. Cloudflare beskriver use som et valgfrit fjerde felt, den tester, med tre værdier: immediate (interagere, men ikke gemme eller genbruge noget), reference (indeksere, citere uddrag og linke tilbage) og full (opsummere og gengive). Det er ikke et af de tre oprindelige signaler, og ingen af de crawlerdokumentationer, vi har tjekket, nævner det.
Fordi Cloudflare tilføjer disse linjer ved edge, kan filen i dit repository se uændret ud, mens den fil, crawlerne modtager, er en anden. Hent den live https://yourdomain.com/robots.txt, før du tilføjer din egen linje, så svaret ikke angiver to forskellige politikker.
Udbredelsen blandt store sites er stadig lav. I vores undersøgelse fra november 2026 af de 1.000 mest populære domæner brugte 18 af de 518 sites, der havde en robots.txt (3,5 %), Content-Signal.
Følger AI-crawlere Content-Signal?
Ikke ifølge nogen dokumentation, vi har kunnet finde. Den 17. november 2026 tjekkede vi crawlersiderne fra OpenAI, Anthropic, Google og Perplexity, og ingen af dem nævner Content-Signal. Cloudflare beskriver selv signalerne som præferencer, ikke som tekniske modforanstaltninger mod scraping, og siger, at nogle virksomheder måske simpelthen ignorerer dem.
Det, AI-virksomhederne i stedet har dokumenteret, er en separat mekanisme baseret på arbejde i IETF's arbejdsgruppe AI Preferences: et politiktoken, __usage_ai-training, skrevet som en almindelig User-Agent-gruppe. Det gælder kun træning, og det Internet-Draft, der definerer det, siger, at en User-Agent: *-gruppe ikke tæller som brug af tokenet:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Understøttelsen er ujævn og ligger delvist stadig ude i fremtiden. Anthropic siger, at den siden den 30. oktober 2026 har genkendt et generelt maskinlæsbart træningssignal, at den ruller det gradvist ud, og at en regel, der nævner ClaudeBot, har forrang. Microsoft dokumenterer tokenet __usage_ai-training for Bing, hvor de nye præferencer træder i kraft, efterhånden som sider crawles fra den 1. februar 2027. Google siger, at den sigter mod at understøtte den fælles styring i 2027 og planlægger at behandle et fravalg af træning via den som en disallow af Google-Extended, når det token ikke er nævnt. OpenAI udgav samme dag en meddelelse om, at den vil respektere det fælles signal, uden dato.
Så ai-train=no og __usage_ai-training siger noget lignende, men kun det sidste har dokumenteret understøttelse fra AI-virksomheder. Tokens pr. crawler, som GPTBot og ClaudeBot, er fortsat de styringer, hver udbyder anvender i dag.
Bør jeg tilføje Content-Signal til min robots.txt?
Tilføj den, hvis du vil have din brugspolitik skrevet ned ét sted, som både maskiner og mennesker kan læse. Den angiver også en ai-input-præference for alle crawlere på én linje, hvilket udbydernes tokens kun kan gøre crawler for crawler. Det koster én linje, og parsere, der ikke kender den, springer den over.
Stol ikke på den alene. For at holde indhold ude af træning skal du også forbyde de dokumenterede træningstokens og overveje det fælles træningstoken; vores guide til at blokere AI-træning og samtidig blive i AI-søgning viser tokens pr. udbyder. Mod alt, der ignorerer robots.txt, er det kun en firewallregel, der håndhæver en blokering.
Tjek til sidst, at linjen stemmer med resten af filen. ai-input=no ved siden af en Allow-gruppe for OAI-SearchBot eller PerplexityBot sender blandede signaler: du lukker AI-søgecrawlerne ind og siger samtidig, at deres svar ikke må bruge det, de henter.
Hvordan kan jeg tjekke, hvad min robots.txt siger til hver crawler?
Det gratis robots.txt-tjek fra AISeeWhy tager en sideadresse eller en indsat robots.txt og viser for hver AI- og søgecrawler, om siden må hentes, så du kan bekræfte, at den live fil, inklusive alt det, Cloudflare har sat foran, siger det, du mente. Den gratis robots.txt-generator skriver en fil ud fra dine valg.
Næste skridt
- robots.txt-tester og -tjek til AI-crawlere
- Se et eksempel på en fuld rapport
- Overvågning af AI-crawlere
- Planer og priser
Crawlere i denne artikel
Ofte stillede spørgsmål
Er Content-Signal en del af robots.txt-standarden?
Nej. RFC 9309 definerer User-agent, Allow og Disallow og lader crawlere fortolke andre poster. Content-Signal kommer fra Cloudflares Content Signals Policy, udgivet under en CC0-licens. Uafhængigt af det udarbejder IETF's arbejdsgruppe AI Preferences sin egen Content-Usage-regel til robots.txt, som stadig er et Internet-Draft og ikke en standard.
Stopper ai-train=no GPTBot eller ClaudeBot?
Ikke så vidt udbyderne dokumenterer. OpenAI og Anthropic beskriver styring gennem robots.txt-regler, der nævner GPTBot og ClaudeBot, og ingen af crawlersiderne nævner Content-Signal. For at fravælge træning hos en af dem skal du forbyde tokenet ved navn.
Hvad er forskellen på Content-Signal og __usage_ai-training?
Content-Signal er en linje inde i en gruppe og dækker søgning, AI-input og træning. __usage_ai-training er et politiktoken, der bruges som sin egen User-Agent-gruppe, og dækker kun træning. Anthropic, Microsoft, Google og OpenAI har udgivet udtalelser om det fælles træningssignal; ingen af dem dokumenterer Content-Signal.
Hvorfor siger Google Search Console Syntax not understood?
Googles dokumentation til robots.txt understøtter kun user-agent, allow, disallow og sitemap, så andre linjer kan blive markeret. Cloudflare siger, at den ikke har set nogen indvirkning på crawlhastighed eller SEO fra disse rapporter.
Hvad betyder use=reference?
Det er et fjerde felt, som Cloudflare tester. reference betyder indeksere, citere uddrag og linke tilbage. Cloudflare tilføjer det til administrerede robots.txt-filer, og ingen af de crawlerdokumentationer, vi har tjekket, nævner det.
Kilder
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: rapport om AI-crawleres adgang, 2026-11