Kan ChatGPT mijn website zien? Zo controleer je het

Gepubliceerd 2026-11-12

Kort antwoord

ChatGPT kan je pagina alleen citeren als de zoekcrawler van OpenAI, OAI-SearchBot, hem mag ophalen en dezelfde HTML krijgt als een browser. Controleer drie dingen: je robots.txt verbiedt OAI-SearchBot niet, je firewall of cdn antwoordt hem niet met een 403 of een challenge-pagina, en de hoofdtekst staat in de oorspronkelijke HTML.

Veel website-eigenaren vragen ChatGPT naar hun eigen product, zien in plaats daarvan een concurrent geciteerd worden en vragen zich af of ChatGPT hun site wel kan bereiken. Daar bestaat een concreet, toetsbaar antwoord op. OpenAI publiceert de namen van zijn crawlers en wat elk ervan doet, dus je kunt elke schakel in de keten controleren: de regels in robots.txt, het antwoord dat je server stuurt en de inhoud van dat antwoord.

Op deze pagina

Welke OpenAI-crawlers zijn belangrijk voor ChatGPT-antwoorden?
Hoe controleer ik mijn robots.txt voor ChatGPT?
Kan een firewall ChatGPT blokkeren terwijl robots.txt het toestaat?
Hoe test ik wat OAI-SearchBot te zien krijgt?
Wat als de pagina laadt maar ChatGPT toch niets bruikbaars zegt?
Hoe controleert AISeeWhy dit?

Welke OpenAI-crawlers zijn belangrijk voor ChatGPT-antwoorden?

OpenAI beschrijft drie agents waar website-eigenaren meestal mee te maken krijgen. Ze hebben verschillende taken en het blokkeren van de ene blokkeert de andere niet. Volgens OpenAI is elke robots.txt-instelling onafhankelijk.

OAI-SearchBot vindt en indexeert pagina's voor de zoekfuncties van ChatGPT. Volgens OpenAI worden sites die hem hebben uitgesloten niet getoond in de zoekantwoorden van ChatGPT. Deze crawler bepaalt of je geciteerd kunt worden.
GPTBot verzamelt content die gebruikt kan worden om de foundation models van OpenAI te trainen. Als je hem uitsluit met Disallow, geef je aan dat je content niet voor training gebruikt mag worden. Je verdwijnt er niet mee uit zoekantwoorden.
ChatGPT-User bezoekt een pagina als iemand ChatGPT daarom vraagt, bijvoorbeeld door een link te plakken. Volgens OpenAI gelden robots.txt-regels mogelijk niet voor deze door gebruikers gestarte bezoeken, en wordt deze agent niet gebruikt om te bepalen of content in zoekresultaten verschijnt.

Kort gezegd: OAI-SearchBot bepaalt citaten, GPTBot bepaalt training en ChatGPT-User verzorgt live bezoeken op verzoek van een gebruiker.

Hoe controleer ik mijn robots.txt voor ChatGPT?

Open https://yourdomain.com/robots.txt in een browser. Zoek een groep waarin OAI-SearchBot genoemd wordt. Is die er niet, dan volgt de crawler de groep User-agent: *. Een Disallow: / in de groep die van toepassing is, blokkeert de hele site.

Controleer ook of het bestand wel antwoordt. Volgens RFC 9309 moet een crawler aannemen dat de hele site verboden is als robots.txt een serverfout (5xx) geeft of onbereikbaar is. Een 404 is prima: dat betekent dat er geen regels zijn. Een veelgemaakte fout is een robots.txt-adres dat een HTML-pagina met status 200 teruggeeft, want dan vinden crawlers daarin geen geldige regels.

Een opzet die ChatGPT-zoeken toestaat en training uitsluit, ziet er zo uit:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Volgens OpenAI kan het na een update van robots.txt ongeveer 24 uur duren voordat wijzigingen voor zoeken van kracht worden.

Kan een firewall ChatGPT blokkeren terwijl robots.txt het toestaat?

Ja, en dat is een veelvoorkomende oorzaak. robots.txt is een verzoek aan welgemanierde crawlers, geen toegangscontrole. Je firewall, cdn of botbeveiliging bepaalt wat er daadwerkelijk wordt teruggestuurd. Behandelt die een AI-crawler als een ongewenste bot, dan krijgt de crawler een 403, een 429 of een challenge-pagina zoals het Cloudflare-scherm “Just a moment...”, terwijl mensen in een browser de pagina gewoon zien.

Van buitenaf lijkt de site gewoon voor iedereen open. Alleen een verzoek dat zich als crawler bekendmaakt, laat het verschil zien. Dan zegt robots.txt ja, zegt de server nee, en wint de server.

Hoe test ik wat OAI-SearchBot te zien krijgt?

Stuur twee verzoeken naar dezelfde URL, één met de user agent van een browser en één met die van de crawler, en vergelijk statuscode en grootte. OpenAI publiceert voor elke crawler een voorbeeld-user agent; het versienummer daarin kan veranderen.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Krijgt de browser 200 met een grote body en de crawler 403, 429, 503 of een veel kleinere body, dan behandelt je firewall de crawler anders. Eén beperking: je test komt van je eigen IP-adres, niet van dat van OpenAI. Firewalls die crawlers verifiëren aan de hand van de gepubliceerde IP-bereiken (OpenAI zet ze op openai.com/searchbot.json) laten de echte crawler misschien door en blokkeren je test. Een blokkade in deze test laat toch zien hoe de firewall met de user agent omgaat, en dat is de moeite van het oplossen waard.

Wat als de pagina laadt maar ChatGPT toch niets bruikbaars zegt?

Toegang is pas de eerste stap. Is de HTML die aankomt een lege schil die later door JavaScript wordt gevuld, dan krijgt de crawler mogelijk bijna geen tekst. Bekijk de ruwe HTML met curl of de paginabron van je browser: staat de hoofdtekst daar niet in, dan ziet de crawler hem waarschijnlijk ook niet.

Daarna komen de contentsignalen: een duidelijk kort antwoord bovenaan de pagina, koppen die aansluiten bij de vragen die mensen stellen, een genoemde uitgever en auteur en zichtbare datums. Een citaat garanderen ze niet, maar ze maken een pagina makkelijker correct te citeren.

Hoe controleert AISeeWhy dit?

AISeeWhy haalt je pagina op als OAI-SearchBot, GPTBot, ChatGPT-User en 11 andere crawlers naast een gewone browser, leest je robots.txt volgens de regels van RFC 9309 en noemt de firewall als die met een blokkade of challenge antwoordt. Bij elke bevinding hoort de oplossing om te plakken, en de gratis controle toont je score en de eerste bevinding.

Veelgestelde vragen

Haalt het blokkeren van GPTBot mijn site uit ChatGPT-zoeken?

Nee. OpenAI behandelt elke crawlerinstelling als onafhankelijk. GPTBot gaat over training, terwijl OAI-SearchBot bepaalt of pagina's getoond kunnen worden in de zoekantwoorden van ChatGPT. Je kunt de een uitsluiten en de ander toestaan.

Volgt ChatGPT-User robots.txt?

Omdat deze bezoeken door een gebruiker worden gestart, gelden robots.txt-regels volgens OpenAI mogelijk niet. Wil je die bezoeken tegenhouden, dan is een robots.txt-regel geen betrouwbare maatregel.

Hoe lang duurt het voordat een robots.txt-wijziging ChatGPT bereikt?

Volgens OpenAI kan het ongeveer 24 uur duren na een update van robots.txt voordat zijn systemen zich voor zoeken aanpassen.

Is bereikbaar zijn genoeg om geciteerd te worden?

Nee. Toegang maakt een citaat mogelijk, maar garandeert het niet. Wat de pagina zegt, en hoe duidelijk, bepaalt nog steeds of ze in een antwoord wordt gebruikt.