We lazen de robots.txt van de 10.000 populairste sites. Dit doen ze met AI-crawlers

Gepubliceerd

Kort antwoord

Van de 6.192 domeinen in de Tranco top 10.000 die een robots.txt serveren, blokkeert 23,2% minstens één AI-trainingscrawler en 12,3% minstens één AI-zoek- of gebruikerscrawler. Van de sites die training blokkeren, blokkeert 51,6% ook AI-zoeken. Slechts 11,2% sluit training uit en laat elke AI-zoekcrawler toe.

In november lazen we de robots.txt van de 1.000 populairste domeinen. Nu lazen we er 10.000, met dezelfde methode, en voegden we een controle toe van hoe het beeld verandert naarmate sites kleiner worden. De hoofdconclusie blijft staan: training blokkeren en zoeken blokkeren worden als één beslissing behandeld, terwijl het er twee zijn.

Op deze pagina
  1. Hoe hebben we het gemeten?
  2. Wat hebben we gevonden?
  3. Welke crawlers worden het vaakst geblokkeerd?
  4. Blokkeren grotere sites meer?
  5. Is er iets veranderd sinds ons rapport van 12 november?
  6. Wat betekent dit voor jouw robots.txt?
  7. Hoe betrouwbaar zijn deze cijfers?

Hoe hebben we het gemeten?

We namen de top 10.000 domeinen van de Tranco-lijst (lijst-ID JZWZY) en haalden van elk domein de homepage, robots.txt en llms.txt één keer op, op 21 november 2026, met de eigen user agent van AISeeWhy. We beoordeelden elke robots.txt volgens RFC 9309 voor de homepage (/) en voor 16 AI- en zoekcrawlers.

6.192 van de 10.000 domeinen serveerden een robots.txt (een geslaagd antwoord dat geen HTML-pagina is). 1.121 antwoordden met een 4xx, wat betekent: geen regels en elke crawler toegestaan, en 2.687 serveerden er geen (geen HTTPS-site, fouten, time-outs of een HTML-pagina in plaats daarvan). Elk percentage hieronder is een percentage van de 6.192. De lijst bevat CDN's en API's die geen website serveren.

Wat hebben we gevonden?

Welke crawlers worden het vaakst geblokkeerd?

Aandeel van de 6.192 domeinen waarvan de robots.txt de homepage voor de crawler verbiedt:

Blokkeren grotere sites meer?

Ja, en ze halen training en zoeken vaker door elkaar. We deelden de lijst op naar rang:

De selectieve route is bij elke omvang zeldzaam: 10,5%, 10,4% en 11,5% van de domeinen in de drie groepen.

Is er iets veranderd sinds ons rapport van 12 november?

We hebben de eerste 1.000 domeinen opnieuw doorlopen met dezelfde lijst. Het resultaat is stabiel binnen ongeveer een procentpunt: 28,6% blokkeert training (29,9% op 12 november), 18,6% blokkeert AI-zoeken (19,5%), en 63,1% van de trainingsblokkeerders blokkeert ook AI-zoeken (63,2%). De noemers verschillen een beetje (nu 560 domeinen met een robots.txt, toen 518) omdat deze run de redirect van een domein naar zijn hoofdhost volgt voordat hij ophaalt.

Wat betekent dit voor jouw robots.txt?

De meeste AI-bedrijven beschrijven aparte crawlers voor training en voor zoeken en zeggen dat de instellingen onafhankelijk zijn. Als je GPTBot verbiedt, blijft OAI-SearchBot ongemoeid, en als je ClaudeBot verbiedt, blijft Claude-SearchBot ongemoeid. Wil je training uitsluiten en toch geciteerd worden, blokkeer dan de trainingstokens en sta de zoek- en gebruikerstokens toe, en herhaal privépaden in elke groep, want een benoemde groep erft niets van *.

Hoe betrouwbaar zijn deze cijfers?

Het zijn robots.txt-regels voor de homepage, gelezen door één parser op één dag. Ze meten geen firewallblokkades, die een crawler kunnen weigeren die robots.txt toestaat. Ze kunnen niet zeggen wat elke site bedoelde, en de Tranco-lijst bevat domeinen die geen website serveren. Een regel die een zoekcrawler blokkeert is geen bewijs van een fout, alleen van een keuze die vaak wordt gemaakt zonder het verschil te kennen. Je mag de cijfers citeren met een link naar deze pagina.

Gratis tools

Volgende stappen

Crawlers in dit artikel

Veelgestelde vragen

Welk deel van de populaire sites blokkeert AI-crawlers?

Van de 6.192 domeinen in de Tranco top 10.000 die een robots.txt serveren, blokkeert 23,2% minstens één AI-trainingscrawler en 12,3% minstens één AI-zoek- of gebruikerscrawler.

Blokkeren sites die AI-training blokkeren ook AI-zoeken?

Vaak wel. Van de sites die een trainingscrawler blokkeren, blokkeert 51,6% ook minstens één AI-zoek- of gebruikerscrawler, hoewel de aanbieders ze beschrijven als aparte crawlers met onafhankelijke instellingen.

Welke AI-crawler wordt het vaakst geblokkeerd?

Onder de trainingscrawlers Bytespider (18,7%) en CCBot (18,5%), daarna GPTBot (17,4%). Onder de AI-zoekcrawlers wordt PerplexityBot het vaakst geblokkeerd, op 10,4% van de domeinen.

Waarom wijken de cijfers af van jullie rapport over 1.000 sites?

De eerste 1.000 domeinen geven bijna dezelfde percentages (28,6% en 18,6% tegenover 29,9% en 19,5%). De cijfers voor 10.000 sites zijn lager omdat kleinere sites minder blokkeren.

Bronnen

Meer artikelen