Vier op de tien bedrijfswebsites weigeren AI-crawlers
In onze audits van 165 bedrijfswebsites in de VS, het VK en Frankrijk weigerde 38% op de server minstens één AI-crawler, bijna altijd een trainings- of scraperbot. Ongeveer één site op de tien weigerde ook een AI-zoekcrawler zoals PerplexityBot of OAI-SearchBot, de crawlers die tot een bronvermelding kunnen leiden. Controleer de jouwe met één verzoek per crawler.
Je vraagt ChatGPT naar je eigen product en het noemt een concurrent, een reviewsite en een forumdraad. Soms is dat een kwestie van content. Vaak is het een firewall die AI-crawlers een nee geeft, wat niemand in je team ooit zag omdat de site in een browser gewoon werkt.
Op deze pagina
Wat hebben we getest?
We vragen een pagina meerdere keren op vanaf hetzelfde adres: één keer als gewone browser en daarna één keer als elk van 14 AI- en zoekcrawlers, waaronder GPTBot, OAI-SearchBot en ChatGPT-User van OpenAI, ClaudeBot en Claude-SearchBot van Anthropic en PerplexityBot van Perplexity. Als de browser de pagina krijgt en een crawler een 401, 403, 406, 429, 451, 503 of een challenge-pagina, dan weigert de site die crawler.
De steekproef bestaat uit 218 bedrijfswebsites in de VS, het VK en Frankrijk, gecontroleerd van 18 tot en met 21 november 2026. Bij 165 konden we de volledige test uitvoeren. De andere 53 weigerden zelfs ons gewone browserverzoek of antwoordden niet, dus lieten we ze weg in plaats van te gokken.
Wat hebben we gevonden?
- 38% van de testbare sites (63 van 165) weigerde minstens één AI-crawler.
- Al die sites weigerden minstens één trainings- of scrapercrawler.
Bytespiderwerd geweigerd door 35% van alle sites,ClaudeBotdoor 13% enGPTBotdoor 11%. - 10% van de sites (16) weigerde ook minstens één AI-zoekcrawler, en 5% (8) weigerde een crawler die live een pagina opent wanneer iemand de assistent erover vraagt.
- De zoekcrawlers die het vaakst werden geweigerd waren
PerplexityBot(11 sites) enOAI-SearchBot(5 sites). - Cloudflare zat achter 32 van de 66 sites die een van de door ons geteste crawlers weigerden. Bij nog eens 30 konden we niet vaststellen welke firewall antwoordde.
Waarom gebeurt het, en wanneer is het een keuze?
Veel hiervan is waarschijnlijk bewust. Veel eigenaren willen niet dat hun content wordt gebruikt om modellen te trainen, en botbeveiligingsinstellingen die scrapers blokkeren zijn gemakkelijk aan te zetten. Dat is een redelijke keuze.
Het probleem is dat AI-bedrijven aparte crawlers hebben voor training en voor zoeken. Je hoeft de trainingscrawler niet te blokkeren om ook de zoekcrawler te blokkeren, en juist de zoekcrawler kan ervoor zorgen dat je pagina in een antwoord wordt geciteerd.
Doen de grootste sites het beter?
Niet echt. In ons robots.txt-rapport over de 1.000 populairste domeinen blokkeert 29,9% van de sites met een robots.txt minstens één AI-trainingscrawler, en 63,2% van die sites blokkeert ook minstens één AI-zoek- of gebruikerscrawler. Slechts 11,0% blokkeert training en laat alle AI-zoekcrawlers toe, en dat is waarschijnlijk wat de meesten wilden.
Hoe controleer ik mijn eigen site in tien minuten?
- Open
yoursite.com/robots.txt. Kijk voor elke AI-crawler waar je om geeft of een groep hem noemt en wat die groep zegt. Een groep die een crawler noemt, vervangt de algemene groep*volledig. - Test wat de server doet, niet wat het bestand zegt. Vraag je belangrijkste pagina op als browser en als crawler. Een 403, een 429, een pagina met de titel
Just a moment...of een antwoord dat veel kleiner is dan dat van de browser is het kenmerk van een firewallblokkade. - Vraag het de assistent. Stel met zoeken aan ChatGPT of Perplexity de vragen van je kopers en kijk welke sites hij citeert. Is de toegang in orde en ontbreek je nog steeds, dan ligt het probleem bij de content, niet bij de toegang.
Hoe betrouwbaar zijn deze cijfers?
Zie ze als een patroon, niet als een volledige telling. De steekproef is niet willekeurig: het zijn bedrijven die we vonden via advertentiebibliotheken, vacaturesites en kaartvermeldingen. We testen op user agent vanaf één adres, terwijl de echte crawlers komen van de adressen die hun aanbieders publiceren, dus sommige firewalls zouden de echte anders behandelen. En een blokkade is niet altijd een fout.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Welk deel van de websites blokkeert AI-crawlers?
In onze audit van 165 testbare bedrijfswebsites weigerde 38% op de server minstens één AI-crawler, meestal trainings- en scraperbots. Ongeveer 10% weigerde ook een AI-zoekcrawler.
Houdt het blokkeren van GPTBot mijn site uit ChatGPT-zoeken?
Nee. OpenAI zegt dat elke robots.txt-instelling voor zijn crawlers onafhankelijk is: GPTBot hoort bij training, OAI-SearchBot bij ChatGPT-zoeken. Het ene blokkeren blokkeert het andere niet.
Hoe kan een site een crawler blokkeren zonder robots.txt?
Een firewall-, CDN- of botbeveiligingsregel kan een crawler beantwoorden met een 403, een 429 of een challenge-pagina. robots.txt toont dit nooit, dus je moet het testen door de pagina op te vragen als die crawler.
Is het weigeren van een crawler altijd een fout?
Nee. Veel eigenaren willen trainingscrawlers en scrapers buiten houden. De fout is het per ongeluk blokkeren van zoekcrawlers, want die kunnen je pagina citeren.
Bronnen
- AISeeWhy: Rapport over toegang van AI-crawlers, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overzicht van de crawlers van OpenAI
- Perplexity: De crawlers van Perplexity
- Cloudflare: AI-crawlers beheren (AI Crawl Control)