Zo controleer je of een website AI-crawlers blokkeert
Plak een willekeurig adres en zie of het GPTBot, ClaudeBot, PerplexityBot en de andere AI-crawlers blokkeert: in robots.txt, in de firewall, of op beide plekken.
Gratis · Geen account nodig · Resultaat in 30 seconden
Welke crawlers geblokkeerd zijn
Trainings-, zoek- en gebruikerscrawlers worden apart getoond, want het blokkeren van GPTBot blokkeert OAI-SearchBot niet, en het blokkeren van ClaudeBot blokkeert Claude-SearchBot niet.
De regel die beslist
Per crawler wordt robots.txt gelezen volgens RFC 9309: de groep die de crawler noemt, of anders User-agent: *, en de regel die wint.
Weigeringen door de firewall
De pagina wordt opgehaald als 14 crawlers en als gewone browser. Blokkades en challenge-pagina's worden gemarkeerd en de firewall die antwoordde wordt genoemd.
Een oplossing bij elke bevinding
Bij elke bevinding hoort de aanpassing die je moet doen. De gratis check toont je score en de eerste bevinding; het volledige rapport kost $29, eenmalig.
Een site kan AI-crawlers op twee plekken blokkeren: in robots.txt, dat crawlers vraagt weg te blijven, en op de server of in de firewall, die ze echt weigert. Zoek in robots.txt het token van elke crawler op, en anders User-agent: *, haal daarna de pagina op als de crawler en vergelijk die met wat een browser krijgt. Een browserextensie doet het robots.txt-deel voor 16 AI-crawlers met één klik.
Controleer het zelf in 3 stappen
- Kies de crawler
Elk AI-bedrijf gebruikt aparte crawlers. Training:
GPTBot,ClaudeBot. Zoeken:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Op verzoek van een persoon:ChatGPT-User,Claude-User,Perplexity-User. - Lees robots.txt voor die crawler
Open
https://example.com/robots.txten zoek de groep die de crawler noemt. Als geen enkele groep dat doet, geldt de groepUser-agent: *; als die er ook niet is, is alles toegestaan. - Haal de pagina op als de crawler
Vraag de pagina op met de user agent van de crawler en vergelijk status en grootte met die van een browser. Een 403, een challenge-pagina of een veel kleinere 200 betekent dat de firewall de crawler weigert.
Veelgestelde vragen
Is een site zonder robots.txt open voor AI-crawlers?
Ja, wat robots.txt betreft. Een 404 voor robots.txt betekent dat er geen regels zijn, dus elke crawler mag elke pagina ophalen. Een firewall kan crawlers nog steeds blokkeren.
Laat de extensie blokkades door de firewall zien?
Nee. Ze leest robots.txt vanuit je browser, en dat laat zien waar de site crawlers om vraagt. Blokkades door een firewall of botbescherming zie je alleen met een verzoek dat als de crawler wordt verstuurd, en dat doet de volledige controle op aiseewhy.com.
Kan ik een site controleren die niet van mij is?
Ja. robots.txt is openbaar, en de extensie leest alleen de bestanden robots.txt en llms.txt die de site publiceert, dezelfde bestanden die elke crawler leest.
Lees de volledige gids
Of je nu na een wijziging je eigen site controleert of de site van een ander bekijkt voordat je erop vertrouwt, de vraag 'blokkeert deze site AI-crawlers?' heeft een precies antwoord. Het hangt af van welke crawler je bedoelt, want AI-bedrijven hebben aparte crawlers voor training, voor zoeken en voor live bezoeken, en een site kan elk daarvan anders behandelen. Deze gids laat drie controles zien, van de snelste tot de meest volledige.
Waar kan een site AI-crawlers blokkeren?
Er zijn drie lagen, en een crawler moet ze alle drie passeren om een pagina te kunnen gebruiken.
- robots.txt: een openbaar bestand met regels dat nette crawlers lezen voordat ze iets ophalen. Het is een verzoek, geen slot.
- De server, het cdn of de firewall: daar wordt bepaald wat er echt wordt teruggestuurd. Een regel voor botbescherming kan een crawler antwoorden met een 403, een 429 of een challenge-pagina, ook als robots.txt hem toelaat.
- De pagina zelf: verschijnt de hoofdtekst pas nadat JavaScript is uitgevoerd, dan krijgt een crawler die de oorspronkelijke HTML leest een bijna lege pagina, hoewel niets hem heeft geblokkeerd.
De meeste snelle checks kijken alleen naar de eerste laag. Dat is een goed begin, zolang je de andere twee niet vergeet.
Hoe lees ik robots.txt voor één AI-crawler?
Open https://example.com/robots.txt in een browser en zoek de groep die voor de crawler geldt. Een groep begint met een of meer User-agent-regels. De crawler gebruikt de groep die zijn token noemt, zoals GPTBot; hoofdlettergebruik telt daarbij niet. Noemt geen enkele groep hem, dan gebruikt hij de groep User-agent: *. Is er geen van beide, dan is alles toegestaan.
Binnen de groep wint de regel met het langste overeenkomende pad, en zijn een Allow en een Disallow even lang, dan wint Allow. Het bestand hieronder blokkeert GPTBot dus voor de hele site, maar laat elke andere crawler toe:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Kijk ook hoe het bestand antwoordt. Volgens RFC 9309 betekent een 404 dat er geen regels zijn, dus alles is toegestaan. Een serverfout (5xx) of helemaal geen antwoord betekent dat een crawler de hele site als verboden moet behandelen. Een robots.txt-adres dat een HTML-pagina teruggeeft is een veelgemaakte fout: crawlers vinden daarin geen geldige regels.
Hoe controleer ik alle AI-crawlers tegelijk?
Het bestand met de hand lezen gaat traag zodra meer dan één crawler voor je telt. Elk AI-bedrijf heeft er meerdere, met verschillende taken:
- Trainingscrawlers verzamelen content om modellen te trainen:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, plus de tokensGoogle-ExtendedenApplebot-Extended, die alleen in robots.txt voorkomen. - Zoekcrawlers indexeren pagina's zodat AI-antwoorden ze kunnen citeren:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Gebruikerscrawlers halen een pagina op wanneer iemand de assistent daarom vraagt:
ChatGPT-User,Claude-User,Perplexity-User.
De gratis extensie AI-crawlercheck voor Chrome doet dit met één klik. Open een willekeurige pagina en klik op het pictogram: de extensie leest de robots.txt van die site en laat voor elk van de 16 crawlers zien of de pagina is toegestaan en welke regel dat bepaalt. Ook toont ze Content-Signal-voorkeuren, of de site een llms.txt heeft en de sitemaps die in robots.txt staan. Ze draait in je browser, heeft geen account nodig en leest alleen de site waarop je haar gebruikt.
Zonder Chrome geeft de gratis robots.txt-checker op aiseewhy.com hetzelfde antwoord voor een URL die je plakt.
Hoe controleer ik of de firewall ze doorlaat?
robots.txt laat zien waar de site om vraagt. Om te zien wat een crawler echt krijgt, vraag je de pagina twee keer op, één keer als browser en één keer met de user agent van de crawler, en vergelijk je de statuscode en de grootte van het antwoord:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Krijgt de browser 200 en de crawler 403, 429 of 503, of een veel kleinere pagina, dan behandelt een firewall of botbescherming de crawler anders. Voor elke test van buitenaf geldt één beperking: hij komt uit jouw netwerk, niet uit dat van het AI-bedrijf. Een firewall die crawlers vertrouwt op basis van hun gepubliceerde IP-adressen kan de echte crawler anders behandelen, dus je serverlogs hebben het laatste woord.
De volledige controle op aiseewhy.com haalt de pagina op als elk van de 16 crawlers naast een echte browser, noemt de firewall of regel die een crawler blokkeert en vergelijkt de tekst die elk van hen kreeg.
Naar welk resultaat moet ik streven?
Dat hangt af van wat je wilt. Wil je geciteerd worden in ChatGPT-zoeken, Claude en Perplexity, dan moeten de zoek- en gebruikerscrawlers in robots.txt zijn toegestaan en van de server de echte pagina krijgen. Wil je niet dat je content voor training wordt gebruikt, blokkeer dan alleen de trainingstokens. Dit zijn aparte keuzes: wie GPTBot blokkeert, blokkeert niet OAI-SearchBot, en wie ClaudeBot blokkeert, blokkeert niet Claude-SearchBot.
Veel sites halen ze door elkaar. In ons rapport van november 2026 over de 1.000 populairste domeinen blokkeert 63% van de sites die een trainingscrawler blokkeren ook minstens één AI-zoek- of gebruikerscrawler, waardoor hun pagina's buiten die AI-antwoorden vallen.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- llms.txt-checker en -validator
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Bronnen
- RFC 9309: Robots Exclusion Protocol
- OpenAI: overzicht van de OpenAI-crawlers
- Anthropic: crawlt Anthropic gegevens van het web, en hoe kunnen site-eigenaren de crawler blokkeren?
- Perplexity: Perplexity-crawlers
- Google: veelgebruikte crawlers, inclusief Google-Extended
- AISeeWhy: AI Crawler Access Report, 2026-11