Wat is Content-Signal in robots.txt, en houdt iemand zich eraan?

Gepubliceerd

Kort antwoord

Content-Signal is een optionele regel in robots.txt, gepubliceerd door Cloudflare, die aangeeft hoe je content na het ophalen gebruikt mag worden: search voor zoekresultaten, ai-input voor gebruik als input in AI-antwoorden en ai-train voor het trainen van modellen, elk op yes of no, zoals in Content-Signal: search=yes, ai-input=yes, ai-train=no. Het drukt een voorkeur uit en blokkeert niets. Per november 2026 zegt geen enkele crawlerpagina van OpenAI, Anthropic, Google of Perplexity dat de crawler het leest, terwijl de grote AI-bedrijven in plaats daarvan een ander token steunen dat alleen over training gaat.

robots.txt is gemaakt om te zeggen waar een crawler heen mag, niet wat er mag gebeuren met wat hij leest. Toen dezelfde ophaalactie een zoekindex, een live AI-antwoord en een trainingsset kon voeden, werd dat gat belangrijk. Cloudflare publiceerde op 24 september 2025 de Content Signals Policy onder een CC0-licentie om het te dichten, en zei toen dat zijn klanten al voor meer dan 3,8 miljoen domeinen beheerde robots.txt hadden ingeschakeld, een functie die de regel nu voor hen toevoegt.

Op deze pagina
  1. Wat betekenen search, ai-input en ai-train?
  2. Hoe schrijf ik een Content-Signal-regel in robots.txt?
  3. Wat zegt de beleidstekst boven de regel?
  4. Staat Content-Signal al in mijn robots.txt?
  5. Houden AI-crawlers zich aan Content-Signal?
  6. Moet ik Content-Signal aan mijn robots.txt toevoegen?
  7. Hoe controleer ik wat mijn robots.txt elke crawler vertelt?

Wat betekenen search, ai-input en ai-train?

Het beleid definieert drie signalen. De omschrijvingen hieronder volgen contentsignals.org en de beleidstekst die Cloudflare publiceert:

Elk signaal krijgt yes of no. In de termen van het beleid betekent yes dat content voor dat gebruik verzameld mag worden, no dat dat niet mag, en een signaal dat je weglaat staat dat gebruik niet toe en beperkt het ook niet. De standaardinstelling van Cloudflare zet search en ai-train en laat ai-input leeg, omdat het naar eigen zeggen de voorkeur van elke klant voor dat signaal niet kent en niet wil gokken.

Het onderscheid tussen search en ai-input is wat de meeste mensen missen. Wil je dat je pagina's in AI-antwoorden worden gebruikt, dan zegt search=yes alleen dat niet. ai-input=yes wel.

Hoe schrijf ik een Content-Signal-regel in robots.txt?

Content-Signal staat binnen een user-agentgroep, naast Allow en Disallow, met de signalen gescheiden door komma's. contentsignals.org toont ook een vorm die met een pad begint, zodat één deel van een site andere signalen kan hebben dan de rest:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow en Disallow werken precies zoals voorheen, en Content-Signal vervangt ze niet. RFC 9309 staat crawlers toe regels te interpreteren die geen deel van het protocol zijn, zolang dat de gedefinieerde regels niet verstoort, dus een parser die de regel niet kent, hoort hem over te slaan.

Twee details zijn goed om te weten. Ten eerste hoort de regel bij een groep. Volgens RFC 9309 negeert een crawler die een groep met zijn eigen naam heeft de groep User-agent: * volledig, en de pagina's over Content Signals beschrijven voor deze regel geen uitzondering. Geef je Googlebot of OAI-SearchBot een eigen groep, herhaal de regel Content-Signal daar dan, zoals contentsignals.org doet in zijn voorbeeld per crawler. Ten tweede kan Google Search Console voor de regel Syntax not understood melden. De documentatie van Cloudflare noemt dit en zegt geen effect op crawlen of SEO te hebben waargenomen. De robots.txt-documentatie van Google noemt alleen user-agent, allow, disallow en sitemap als ondersteunde velden.

Wat zegt de beleidstekst boven de regel?

De Content Signals Policy is meer dan één regel. De generator van Cloudflare op contentsignals.org en de beheerde robots.txt zetten allebei een blok commentaar boven de signalen. Dat begint met de mededeling dat je, als voorwaarde voor toegang tot de website, ermee instemt de content signals na te leven, en definieert daarna de drie signalen en de gevallen yes, no en ontbrekend.

Het eindigt met een zin in hoofdletters die stelt dat alle beperkingen die via content signals worden uitgedrukt uitdrukkelijke voorbehouden van rechten zijn onder artikel 4 van EU-richtlijn 2019/790 inzake auteursrecht in de digitale eengemaakte markt. De aankondiging van Cloudflare voegt eraan toe dat de signalen in verschillende rechtsgebieden juridisch gewicht kunnen hebben.

contentsignals.org waarschuwt zelf dat rechters en toezichthouders kunnen concluderen dat robots.txt-bestanden geen afdwingbare juridische verplichtingen opleggen, en raadt aan een jurist te raadplegen. Zie het commentaarblok als een schriftelijke verklaring van je standpunt, niet als een contract.

Staat Content-Signal al in mijn robots.txt?

Als je site op Cloudflare draait, kan dat, op een van twee manieren:

Het deel use=reference is nieuw. Cloudflare beschrijft use als een optioneel vierde veld dat het test, met drie waarden: immediate (interactie, maar niets opslaan of hergebruiken), reference (indexeren, citeren en terugverwijzen) en full (samenvatten en reproduceren). Het is geen van de drie oorspronkelijke signalen, en geen van de crawlerdocumentatie die we hebben gecontroleerd noemt het.

Omdat Cloudflare deze regels aan de edge toevoegt, kan het bestand in je repository onveranderd lijken terwijl het bestand dat crawlers krijgen anders is. Haal de live https://yourdomain.com/robots.txt op voordat je je eigen regel toevoegt, zodat het antwoord geen twee verschillende beleidsregels bevat.

Onder grote sites is het gebruik nog laag. In ons onderzoek van november 2026 naar de 1.000 populairste domeinen gebruikten 18 van de 518 sites die een robots.txt leverden (3,5%) Content-Signal.

Houden AI-crawlers zich aan Content-Signal?

Niet volgens enige documentatie die we konden vinden. Op 17 november 2026 controleerden we de crawlerpagina's van OpenAI, Anthropic, Google en Perplexity, en geen ervan noemt Content-Signal. Cloudflare beschrijft de signalen zelf als voorkeuren, niet als technische maatregelen tegen scraping, en zegt dat sommige bedrijven ze gewoon kunnen negeren.

Wat de AI-bedrijven in plaats daarvan hebben gedocumenteerd, is een apart mechanisme gebaseerd op werk in de IETF-werkgroep AI Preferences: een beleidstoken, __usage_ai-training, geschreven als een gewone User-Agent-groep. Het dekt alleen training, en de Internet-Draft die het definieert zegt dat een groep User-Agent: * niet telt als gebruik van het token:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

De ondersteuning is ongelijk en ligt deels nog in de toekomst. Anthropic zegt dat het sinds 30 oktober 2026 een algemeen machineleesbaar trainingssignaal herkent, dat geleidelijk uitrolt, en dat een regel die ClaudeBot noemt voorrang heeft. Microsoft documenteert het token __usage_ai-training voor Bing, waarbij de nieuwe voorkeuren ingaan naarmate pagina's vanaf 1 februari 2027 worden gecrawld. Google zegt dat het de gedeelde instelling in 2027 wil ondersteunen en van plan is een opt-out voor training via die instelling te behandelen als een disallow van Google-Extended wanneer dat token niet wordt genoemd. OpenAI publiceerde dezelfde dag een aankondiging dat het het gedeelde signaal zal respecteren, zonder datum.

ai-train=no en __usage_ai-training zeggen dus iets vergelijkbaars, maar alleen het tweede heeft gedocumenteerde ondersteuning van AI-bedrijven. De tokens per crawler, zoals GPTBot en ClaudeBot, blijven de instellingen die elke aanbieder vandaag toepast.

Moet ik Content-Signal aan mijn robots.txt toevoegen?

Voeg het toe als je je gebruiksbeleid op één plek wilt vastleggen die machines en mensen kunnen lezen. Het geeft ook in één regel een voorkeur voor ai-input voor elke crawler aan, wat de tokens van aanbieders alleen crawler voor crawler kunnen uitdrukken. Het kost één regel, en parsers die het niet kennen, slaan het over.

Vertrouw er niet alleen op. Om content uit training te houden, sluit je ook de gedocumenteerde trainingstokens uit en overweeg je het gedeelde trainingstoken; onze gids over AI-training blokkeren en toch in AI-zoeken blijven noemt de tokens per aanbieder. Voor alles wat robots.txt negeert, dwingt alleen een firewallregel een blokkade af.

Controleer tot slot of de regel klopt met de rest van het bestand. ai-input=no naast een Allow-groep voor OAI-SearchBot of PerplexityBot geeft tegenstrijdige signalen: je laat de AI-zoekcrawlers binnen, maar zegt dat hun antwoorden niet mogen gebruiken wat ze ophalen.

Hoe controleer ik wat mijn robots.txt elke crawler vertelt?

De gratis robots.txt-checker van AISeeWhy neemt een paginaadres of een geplakte robots.txt en laat voor elke AI- en zoekcrawler zien of die pagina mag worden opgehaald, zodat je kunt bevestigen dat het live bestand, inclusief alles wat Cloudflare ervoor heeft gezet, zegt wat je bedoelde. De gratis robots.txt-generator schrijft een bestand op basis van je keuzes.

Gratis tools

Volgende stappen

Crawlers in dit artikel

Veelgestelde vragen

Is Content-Signal onderdeel van de robots.txt-standaard?

Nee. RFC 9309 definieert User-agent, Allow en Disallow en laat crawlers andere regels interpreteren. Content-Signal komt uit de Content Signals Policy van Cloudflare, uitgebracht onder een CC0-licentie. Daarnaast werkt de IETF-werkgroep AI Preferences aan een eigen regel Content-Usage voor robots.txt, die nog een Internet-Draft is, geen standaard.

Houdt ai-train=no GPTBot of ClaudeBot tegen?

Niet volgens de documentatie van de aanbieders. OpenAI en Anthropic beschrijven controle via robots.txt-regels die GPTBot en ClaudeBot noemen, en geen van beide crawlerpagina's noemt Content-Signal. Wil je bij een van beide niet meedoen aan training, sluit het token dan bij naam uit.

Wat is het verschil tussen Content-Signal en __usage_ai-training?

Content-Signal is een regel binnen een groep en dekt zoeken, AI-input en training. __usage_ai-training is een beleidstoken dat als eigen User-Agent-groep wordt gebruikt en dekt alleen training. Anthropic, Microsoft, Google en OpenAI hebben verklaringen gepubliceerd over het gedeelde trainingssignaal; geen van hen documenteert Content-Signal.

Waarom meldt Google Search Console Syntax not understood?

De robots.txt-documentatie van Google ondersteunt alleen user-agent, allow, disallow en sitemap, dus andere regels kunnen worden gemarkeerd. Cloudflare zegt geen effect van deze meldingen op crawlsnelheid of SEO te hebben waargenomen.

Wat betekent use=reference?

Het is een vierde veld dat Cloudflare test. reference betekent indexeren, citeren en terugverwijzen. Cloudflare voegt het toe aan beheerde robots.txt-bestanden, en geen crawlerdocumentatie die we hebben gecontroleerd noemt het.

Bronnen

Meer artikelen