AI-training blokkeren en toch in AI-zoekantwoorden blijven

Q: Haalt het blokkeren van GPTBot mijn site uit ChatGPT-antwoorden?

Nee. Volgens OpenAI is GPTBot voor training en is elke robots.txt-instelling onafhankelijk. ChatGPT-zoeken gebruikt OAI-SearchBot; zolang die is toegestaan en niet door je firewall wordt geblokkeerd, komen je pagina's nog in aanmerking.

Q: Haalt het blokkeren van Google-Extended mij uit AI-overzichten?

Niet volgens de documentatie van Google. Google zegt dat Google-Extended geen invloed heeft op opname in Google Zoeken en dat AI-overzichten putten uit de zoekindex. Google biedt een aparte Search Console-instelling om een site uit te sluiten van AI-overzichten en AI-modus.

Q: Is er één regel die alle AI-training blokkeert?

Nee, geen enkele standaardregel doet dat. Content-Signal: ai-train=no geeft de voorkeur aan voor alle crawlers, maar of een crawler die naleeft, hangt af van de beheerder. Benoemde groepen per trainingstoken zijn de gedocumenteerde aanpak.

Gepubliceerd 2026-11-12

Kort antwoord

De meeste AI-aanbieders gebruiken aparte robots.txt-tokens voor modeltraining en voor zoeken. Sluit de trainingstokens uit met Disallow, zoals GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent en CCBot, en sta de zoek- en gebruikerstokens toe, zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot. Voeg een Content-Signal-regel toe om dezelfde voorkeur in woorden uit te drukken.

Veel site-eigenaren willen twee dingen tegelijk: ze willen niet dat hun content wordt gebruikt om AI-modellen te trainen, en ze willen wel dat AI-assistenten hun pagina's vinden, citeren en linken. Omdat de grote aanbieders deze taken nu over verschillende crawlers of tokens verdelen, kan robots.txt beide keuzes uitdrukken. Het addertje: de namen verschillen per aanbieder, een paar aanbieders passen niet in het patroon, en één verkeerde regel kan je uit AI-antwoorden halen in plaats van uit trainingsdata.

Op deze pagina

Wat is het verschil tussen een trainingscrawler en een zoekcrawler?
Welke tokens regelen training en welke zoeken?
Hoe ziet de robots.txt eruit?
Hoeveel sites doen dit al?
Wat voegt Content-Signal toe?
Waar werkt de scheiding niet zuiver?
Hoe controleer ik of de scheiding werkt?

Wat is het verschil tussen een trainingscrawler en een zoekcrawler?

Een trainingscrawler verzamelt pagina's die gebruikt kunnen worden om AI-modellen te bouwen of te verbeteren. Training op zichzelf levert geen citaat of link op. Een zoekcrawler bouwt een index die een AI-assistent gebruikt om bronnen voor een antwoord te vinden, en die bronnen kan hij citeren. Een door de gebruiker gestarte fetcher opent live een pagina omdat iemand ernaar heeft gevraagd.

De aanbieders documenteren deze rollen apart en zeggen dat de instellingen onafhankelijk zijn. OpenAI zegt bijvoorbeeld dat elke robots.txt-instelling voor zijn crawlers onafhankelijk is van de andere. Een opt-out voor training die goed is gedaan, laat je zoekzichtbaarheid dus ongemoeid.

Welke tokens regelen training en welke zoeken?

Dit zijn de tokens die de aanbieders documenteren, gegroepeerd naar wat ze regelen:

OpenAI: GPTBot crawlt content die gebruikt kan worden om zijn foundation models te trainen. OAI-SearchBot is voor ChatGPT-zoeken en ChatGPT-User verzorgt acties van gebruikers; OpenAI zegt dat robots.txt hierop mogelijk niet van toepassing is.
Anthropic: ClaudeBot verzamelt content die kan bijdragen aan training. Claude-SearchBot verbetert de zoekresultaten van Claude en Claude-User haalt pagina's op voor gebruikers. Anthropic zegt dat zijn bots robots.txt respecteren.
Google: Google-Extended is een robots.txt-token zonder eigen crawler. Het regelt het gebruik bij het trainen van toekomstige Gemini-modellen en bij grounding voor de Gemini-apps en Vertex AI. Google zegt dat het geen invloed heeft op opname of ranking in Google Zoeken, wat via Googlebot wordt geregeld.
Apple: Applebot-Extended crawlt niet; het regelt of content die door Applebot is gecrawld, wordt gebruikt om de foundation models van Apple te trainen. Apple zegt dat pagina's die het uitsluiten, nog steeds in de zoekresultaten kunnen verschijnen.
Meta: meta-externalagent crawlt voor toepassingen zoals het trainen van foundation models, terwijl meta-webindexer de zoekresultaten van Meta AI verbetert.
Common Crawl: CCBot bouwt het openbare webarchief van Common Crawl. De beheerde robots.txt van Cloudflare noemt het bij de AI-trainingscrawlers die hij uitsluit.
Perplexity: PerplexityBot en Perplexity-User bedienen zoek- en gebruikersverzoeken. Volgens Perplexity wordt geen van beide gebruikt om trainingsdata te verzamelen, dus er is geen trainingstoken van Perplexity om te blokkeren.

Hoe ziet de robots.txt eruit?

Meerdere User-agent-regels achter elkaar vormen onder RFC 9309 één groep, dus de regels gelden voor elk ervan. Dit bestand sluit de bovenstaande trainingstokens uit, staat de zoek- en gebruikersagents toe en houdt één privépad voor iedereen gesloten:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Twee details zijn belangrijk. Ten eerste erft een benoemde groep niets van *, dus privépaden moeten in de zoekgroep worden herhaald. Ten tweede: zet Googlebot of Applebot niet in de trainingsgroep. Dat zijn de zoekcrawlers, en door ze te blokkeren verdwijn je uit Google Zoeken en de zoekfuncties van Apple. Wijzigingen gaan niet direct in: OpenAI noemt ongeveer 24 uur voor zoeken en Perplexity tot 24 uur.

Hoeveel sites doen dit al?

Minder dan je misschien verwacht. We lazen op 12-11-2026 de robots.txt-bestanden van de 1.000 populairste domeinen op de Tranco-lijst. Van de 518 die een robots.txt leverden, sluiten er 155 (29,9%) de homepage uit voor minstens één AI-trainingscrawler. Slechts 57 (11,0%) kiezen de selectieve route: ze blokkeren trainingscrawlers en staan alle AI-zoek- en gebruikerscrawlers toe die we testten. In totaal blokkeren 101 sites (19,5%) minstens één AI-zoek- of gebruikerscrawler.

De cijfers per crawler laten dezelfde tweedeling zien. GPTBot wordt op 111 sites geblokkeerd (21,4%) en OAI-SearchBot op 58 (11,2%). ClaudeBot wordt op 110 geblokkeerd (21,2%) en Claude-SearchBot op 67 (12,9%). Google-Extended wordt op 94 geblokkeerd (18,1%), Googlebot op 14 (2,7%). Slechts 18 sites (3,5%) gebruiken Content-Signal.

Het onderzoek kijkt alleen naar robots.txt-regels voor de homepage. Het meet geen firewallblokkades en laat niet zien wat elke site bedoelde.

Wat voegt Content-Signal toe?

Content Signals is een robots.txt-uitbreiding die Cloudflare publiceert op contentsignals.org. Een Content-Signal-regel geeft aan hoe content gebruikt mag worden, met drie signalen: search (een zoekindex bouwen en links en korte fragmenten tonen), ai-input (content in realtime in AI-modellen invoeren, zoals grounding of retrieval voor generatieve antwoorden) en ai-train (modellen trainen of fine-tunen).

Let erop dat de definitie van search door AI gegenereerde zoeksamenvattingen uitsluit. Wil je in AI-antwoorden verschijnen, zet dan ook ai-input=yes, zoals in het voorbeeld hierboven. De beheerde robots.txt van Cloudflare voegt standaard search=yes, ai-train=no toe; een signaal dat je weglaat, staat dat gebruik niet toe en beperkt het niet.

Dit zijn uitgesproken voorkeuren. De site van Content Signals zegt dat ze crawlen technisch niet voorkomen, en Cloudflare merkt op dat het naleven van robots.txt vrijwillig is. Op geen van de crawlerpagina's van OpenAI, Anthropic, Google of Perplexity die we bekeken, staat of ze Content-Signal lezen, dus zie het als een aanvulling op de groepen per crawler, niet als vervanging.

Waar werkt de scheiding niet zuiver?

Een paar gevallen vragen om zorg:

AI-overzichten en AI-modus van Google putten uit de zoekindex die Googlebot bouwt, dus Google-Extended haalt je er niet uit. De Search Console-hulp van Google voegt toe dat Google-Extended de training beperkt van de modellen achter de generatieve AI-functies van Zoeken, een bereik dat de crawlerdocumentatie niet noemt. Google biedt nu een aparte instelling in Search Console om een site uit te sluiten van AI-overzichten en AI-modus.
OpenAI zegt dat als een site zowel GPTBot als OAI-SearchBot toestaat, het de resultaten van één crawl voor beide doelen kan gebruiken. Het uitsluiten van GPTBot is wat aangeeft dat content niet voor training gebruikt mag worden.
Opt-outs werken vooruit. Anthropic beschrijft bijvoorbeeld dat het uitsluiten van ClaudeBot toekomstige content van je site uitsluit van trainingsdatasets.
Door gebruikers gestarte fetchers zitten ertussenin. OpenAI en Perplexity zeggen dat robots.txt mogelijk niet geldt voor ChatGPT-User en over het algemeen niet geldt voor Perplexity-User.
Firewalls lezen robots.txt niet. Een brede regel die bots blokkeert, kan de zoekcrawlers stoppen die je hebt toegestaan. Dwing je het trainingsverbod af in de firewall, match de trainingsagents dan op naam en verifieer ze aan de hand van hun gepubliceerde IP-bereiken.

Hoe controleer ik of de scheiding werkt?

Lees je robots.txt zoals elke crawler dat zou doen: zoek de groep die hem noemt, val alleen op * terug als geen enkele groep dat doet, en pas de langste matchende regel toe. Vraag daarna een pagina op met de user agent van elke zoekcrawler en controleer dat die een 200 met de volledige content krijgt, geen 403 of challenge-pagina.

AISeeWhy doet beide voor 14 crawlers, gegroepeerd als training-, zoek- en gebruikersagents, en signaleert de meestgemaakte fout: een zoektoken als PerplexityBot of Claude-SearchBot blokkeren terwijl je training wilt blokkeren.

Veelgestelde vragen

Haalt het blokkeren van GPTBot mijn site uit ChatGPT-antwoorden?

Nee. Volgens OpenAI is GPTBot voor training en is elke robots.txt-instelling onafhankelijk. ChatGPT-zoeken gebruikt OAI-SearchBot; zolang die is toegestaan en niet door je firewall wordt geblokkeerd, komen je pagina's nog in aanmerking.

Haalt het blokkeren van Google-Extended mij uit AI-overzichten?

Niet volgens de documentatie van Google. Google zegt dat Google-Extended geen invloed heeft op opname in Google Zoeken en dat AI-overzichten putten uit de zoekindex. Google biedt een aparte Search Console-instelling om een site uit te sluiten van AI-overzichten en AI-modus.

Is er één regel die alle AI-training blokkeert?

Nee, geen enkele standaardregel doet dat. Content-Signal: ai-train=no geeft de voorkeur aan voor alle crawlers, maar of een crawler die naleeft, hangt af van de beheerder. Benoemde groepen per trainingstoken zijn de gedocumenteerde aanpak.

Moet ik Perplexity blokkeren om AI-training te stoppen?

Volgens Perplexity worden zijn agents niet gebruikt om trainingsdata te verzamelen. Het blokkeren van PerplexityBot verlaagt je zichtbaarheid in de zoekresultaten van Perplexity zonder als opt-out voor training te werken.