Vad är Content-Signal i robots.txt, och följer någon det?
Content-Signal är en valfri rad i robots.txt, publicerad av Cloudflare, som anger hur ditt innehåll får användas efter att det har hämtats: search för sökresultat, ai-input för att mata in det i AI-svar och ai-train för att träna modeller, var och en satt till yes eller no, som i Content-Signal: search=yes, ai-input=yes, ai-train=no. Den uttrycker en preferens och blockerar ingenting. I november 2026 säger ingen av crawlersidorna från OpenAI, Anthropic, Google eller Perplexity att de läser den, medan de stora AI-företagen i stället har ställt sig bakom en annan token som bara gäller träning.
robots.txt byggdes för att säga vart en crawler får gå, inte vad som får göras med det den läser. När samma hämtning kunde mata ett sökindex, ett AI-svar i realtid och en träningsmängd blev den luckan viktig. Cloudflare publicerade Content Signals Policy den 24 september 2025 under en CC0-licens för att fylla den, och sade då att kunderna redan hade slagit på hanterad robots.txt för över 3,8 miljoner domäner, en funktion som nu lägger till raden åt dem.
På den här sidan
- Vad betyder search, ai-input och ai-train?
- Hur skriver jag en Content-Signal-rad i robots.txt?
- Vad säger policytexten ovanför raden?
- Finns Content-Signal redan i min robots.txt?
- Följer AI-crawlers Content-Signal?
- Ska jag lägga till Content-Signal i min robots.txt?
- Hur kontrollerar jag vad min robots.txt säger till varje crawler?
Vad betyder search, ai-input och ai-train?
Policyn definierar tre signaler. Formuleringarna nedan följer contentsignals.org och den policytext som Cloudflare publicerar:
search: att bygga ett sökindex och tillhandahålla sökresultat, till exempel att returnera länkar och korta utdrag från dina sidor. Definitionen anger att search inte omfattar AI-genererade sammanfattningar i sökningar.ai-input: att mata in innehåll i en eller flera AI-modeller, till exempel retrieval augmented generation, grounding eller annan användning av innehåll i realtid för generativa AI-svar i sökningar.ai-train: att träna eller finjustera AI-modeller.
Varje signal tar yes eller no. Enligt policyn betyder yes att innehållet får samlas in för det ändamålet, no att det inte får det, och en signal du utelämnar varken ger eller begränsar den användningen. Cloudflares standard sätter search och ai-train och lämnar ai-input osatt, eftersom företaget säger att det inte vet varje kunds preferens för den signalen och inte vill gissa.
Skillnaden mellan search och ai-input är den som flest missar. Om du vill att dina sidor ska användas i AI-svar säger search=yes ensamt inte det. Det gör ai-input=yes.
Hur skriver jag en Content-Signal-rad i robots.txt?
Content-Signal placeras i en user agent-grupp, bredvid Allow och Disallow, med signalerna åtskilda av kommatecken. contentsignals.org visar också en form som börjar med en sökväg, så att en del av webbplatsen kan ha andra signaler än resten:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow och Disallow fungerar precis som förut, och Content-Signal ersätter dem inte. RFC 9309 låter crawlers tolka poster som inte ingår i protokollet, så länge det inte stör de definierade reglerna, så en parser som inte känner till raden bör hoppa över den.
Två detaljer är bra att känna till. För det första hör raden till en grupp. Enligt RFC 9309 ignorerar en crawler som har en grupp med sitt eget namn gruppen User-agent: * helt, och Content Signals-sidorna beskriver inget undantag för den här raden. Om du ger Googlebot eller OAI-SearchBot en egen grupp upprepar du Content-Signal-raden där, som contentsignals.org gör i sitt exempel per crawler. För det andra kan Google Search Console rapportera Syntax not understood för raden. Cloudflares dokumentation nämner detta och anger att företaget inte har sett någon påverkan på crawlning eller SEO. Googles dokumentation om robots.txt listar bara user-agent, allow, disallow och sitemap som fält som stöds.
Vad säger policytexten ovanför raden?
Content Signals Policy är mer än en rad. Cloudflares generator på contentsignals.org och dess hanterade robots.txt lägger båda ett block med kommentarer ovanför signalerna. Det inleds med att du, som villkor för att få tillgång till webbplatsen, går med på att följa content signals, och definierar sedan de tre signalerna och fallen yes, no och utelämnad signal.
Det avslutas med en mening i versaler som säger att alla begränsningar som uttrycks via content signals är uttryckliga förbehåll av rättigheter enligt artikel 4 i EU-direktiv 2019/790 om upphovsrätt på den digitala inre marknaden. Cloudflares tillkännagivande tillägger att signalerna kan ha juridisk tyngd i olika jurisdiktioner.
contentsignals.org varnar själv för att domstolar och tillsynsmyndigheter kan komma fram till att robots.txt-filer inte medför rättsligt bindande skyldigheter, och föreslår att du rådfrågar en jurist. Se kommentarsblocket som en skriftlig redogörelse för din hållning, inte som ett avtal.
Finns Content-Signal redan i min robots.txt?
Om din webbplats ligger på Cloudflare kan den göra det, på ett av två sätt:
- Hanterad robots.txt. När Bot Preference Sync är påslaget och minst en AI Crawler and Agent access-policy är satt till Block, Block on pages with ads eller, för Training, Disallow, lägger Cloudflare ett hanterat block först i den robots.txt som din server skickar. Det innehåller policytexten,
Content-signal: search=yes, ai-train=no, use=referenceunderUser-Agent: *, ochDisallow: /förAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotochmeta-externalagent. - Ingen robots.txt alls. Cloudflare anger att domäner på Free-planen som saknar egen robots.txt och inte använder den hanterade funktionen visar Content Signals Policy när en crawler begär
/robots.txt. Den versionen innehåller definitionerna men anger ingen preferens.
Delen use=reference är ny. Cloudflare beskriver use som ett valfritt fjärde fält som företaget testar, med tre värden: immediate (interagera, men lagra och återanvänd ingenting), reference (indexera, citera utdrag och länka tillbaka) och full (sammanfatta och återge). Det är inte en av de tre ursprungliga signalerna, och ingen av de crawlerdokumentationer vi kontrollerade nämner det.
Eftersom Cloudflare lägger till raderna vid nätverkskanten kan filen i ditt repo se oförändrad ut medan filen som crawlers får är en annan. Hämta den publicerade https://yourdomain.com/robots.txt innan du lägger till en egen rad, så att svaret inte anger två olika policyer.
Användningen är fortfarande låg bland stora webbplatser. I vår studie från november 2026 av de 1 000 mest populära domänerna använde 18 av de 518 webbplatser som hade en robots.txt (3,5 %) Content-Signal.
Följer AI-crawlers Content-Signal?
Inte enligt någon dokumentation vi kunde hitta. Den 17 november 2026 kontrollerade vi crawlersidorna från OpenAI, Anthropic, Google och Perplexity, och ingen av dem nämner Content-Signal. Cloudflare beskriver själv signalerna som preferenser, inte tekniska motåtgärder mot skrapning, och säger att vissa företag helt enkelt kan ignorera dem.
Det AI-företagen i stället har dokumenterat är en separat mekanism som bygger på arbete i IETF:s arbetsgrupp AI Preferences: en policytoken, __usage_ai-training, som skrivs som en vanlig User-Agent-grupp. Den gäller bara träning, och det Internet-Draft som definierar den anger att en User-Agent: *-grupp inte räknas som användning av token:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ Stödet är ojämnt och delvis framtida. Anthropic anger att företaget sedan den 30 oktober 2026 känner igen en allmän maskinläsbar träningssignal, att den rullas ut gradvis och att en regel som namnger ClaudeBot har företräde framför den. Microsoft dokumenterar token __usage_ai-training för Bing, där de nya preferenserna börjar gälla när sidor crawlas från den 1 februari 2027. Google anger att målet är att stödja den gemensamma kontrollen under 2027, och planerar att behandla en avregistrering från träning via den som en nekning av Google-Extended när den token inte namnges. OpenAI publicerade samma dag ett tillkännagivande om att företaget kommer att följa den gemensamma signalen, utan datum.
Så ai-train=no och __usage_ai-training säger liknande saker, men bara den andra har dokumenterat stöd från AI-företag. Token per crawler, som GPTBot och ClaudeBot, är fortfarande de kontroller som varje leverantör tillämpar i dag.
Ska jag lägga till Content-Signal i min robots.txt?
Lägg till den om du vill ha din användningspolicy nedskriven på ett ställe som både maskiner och människor kan läsa. Den anger också en ai-input-preferens för alla crawlers på en enda rad, vilket leverantörernas token bara kan uttrycka crawler för crawler. Den kostar en rad, och parsers som inte känner till den hoppar över den.
Förlita dig inte bara på den. För att hålla innehåll borta från träning nekar du också de dokumenterade träningstoken, och överväg den gemensamma träningstoken; vår guide om att blockera AI-träning men stanna kvar i AI-sökning listar token per leverantör. För allt som ignorerar robots.txt är det bara en brandväggsregel som verkligen upprätthåller en blockering.
Kontrollera till sist att raden stämmer med resten av filen. ai-input=no bredvid en Allow-grupp för OAI-SearchBot eller PerplexityBot ger motstridiga besked: du släpper in AI-sökcrawlerna samtidigt som du säger att deras svar inte får använda det de hämtar.
Hur kontrollerar jag vad min robots.txt säger till varje crawler?
Den kostnadsfria robots.txt-kontrollen i AISeeWhy tar en sidadress eller en inklistrad robots.txt och visar för varje AI- och sökcrawler om sidan får hämtas, så att du kan bekräfta att den publicerade filen, inklusive allt som Cloudflare har lagt först, säger det du menade. Den kostnadsfria robots.txt-generatorn skriver en fil utifrån dina val.
Nästa steg
- robots.txt-testare och kontroll för AI-crawlers
- Se ett exempel på en fullständig rapport
- Bevakning av AI-crawlers
- Planer och priser
Crawlers i den här artikeln
Vanliga frågor
Ingår Content-Signal i robots.txt-standarden?
Nej. RFC 9309 definierar User-agent, Allow och Disallow och låter crawlers tolka andra poster. Content-Signal kommer från Cloudflares Content Signals Policy, som släppts under en CC0-licens. Separat tar IETF:s arbetsgrupp AI Preferences fram en egen regel, Content-Usage, för robots.txt, som fortfarande är ett Internet-Draft och inte en standard.
Stoppar ai-train=no GPTBot eller ClaudeBot?
Inte enligt vad leverantörerna dokumenterar. OpenAI och Anthropic beskriver kontroll via robots.txt-regler som namnger GPTBot och ClaudeBot, och ingen av crawlersidorna nämner Content-Signal. För att avregistrera dig från träning hos någon av dem nekar du token med namn.
Vad är skillnaden mellan Content-Signal och __usage_ai-training?
Content-Signal är en rad i en grupp och omfattar sökning, AI-indata och träning. __usage_ai-training är en policytoken som används som en egen User-Agent-grupp och omfattar bara träning. Anthropic, Microsoft, Google och OpenAI har publicerat uttalanden om den gemensamma träningssignalen; ingen av dem dokumenterar Content-Signal.
Varför säger Google Search Console Syntax not understood?
Googles dokumentation om robots.txt stöder bara user-agent, allow, disallow och sitemap, så andra rader kan flaggas. Cloudflare anger att företaget inte har sett någon påverkan på crawlhastighet eller SEO från de här rapporterna.
Vad betyder use=reference?
Det är ett fjärde fält som Cloudflare testar. reference betyder indexera, citera utdrag och länka tillbaka. Cloudflare lägger till det i hanterade robots.txt-filer, och ingen crawlerdokumentation vi kontrollerade nämner det.
Källor
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11