We lazen de robots.txt van de 10.000 populairste sites. Dit doen ze met AI-crawlers
Van de 6.192 domeinen in de Tranco top 10.000 die een robots.txt serveren, blokkeert 23,2% minstens één AI-trainingscrawler en 12,3% minstens één AI-zoek- of gebruikerscrawler. Van de sites die training blokkeren, blokkeert 51,6% ook AI-zoeken. Slechts 11,2% sluit training uit en laat elke AI-zoekcrawler toe.
In november lazen we de robots.txt van de 1.000 populairste domeinen. Nu lazen we er 10.000, met dezelfde methode, en voegden we een controle toe van hoe het beeld verandert naarmate sites kleiner worden. De hoofdconclusie blijft staan: training blokkeren en zoeken blokkeren worden als één beslissing behandeld, terwijl het er twee zijn.
Op deze pagina
Hoe hebben we het gemeten?
We namen de top 10.000 domeinen van de Tranco-lijst (lijst-ID JZWZY) en haalden van elk domein de homepage, robots.txt en llms.txt één keer op, op 21 november 2026, met de eigen user agent van AISeeWhy. We beoordeelden elke robots.txt volgens RFC 9309 voor de homepage (/) en voor 16 AI- en zoekcrawlers.
6.192 van de 10.000 domeinen serveerden een robots.txt (een geslaagd antwoord dat geen HTML-pagina is). 1.121 antwoordden met een 4xx, wat betekent: geen regels en elke crawler toegestaan, en 2.687 serveerden er geen (geen HTTPS-site, fouten, time-outs of een HTML-pagina in plaats daarvan). Elk percentage hieronder is een percentage van de 6.192. De lijst bevat CDN's en API's die geen website serveren.
Wat hebben we gevonden?
- 23,2% (1.437 domeinen) blokkeert minstens één AI-trainingscrawler.
- 12,3% (762) blokkeert minstens één AI-zoek- of gebruikerscrawler, dus de pagina's mogen niet worden gebruikt of geciteerd door de antwoorden die daarop leunen.
- 51,6% van de domeinen die een trainingscrawler blokkeren (742 van 1.437) blokkeert ook minstens één AI-zoek- of gebruikerscrawler.
- Slechts 11,2% (695) kiest de selectieve route: ze blokkeren trainingscrawlers en laten elke AI-zoek- en gebruikerscrawler toe.
- 6,5% (401) geeft zijn AI-voorkeuren aan met
Content-Signal. - 12,4% van alle 10.000 domeinen (1.240) publiceert een
llms.txt. - Ter vergelijking: 2,0% (124) blokkeert
Googlebotop de homepage.
Welke crawlers worden het vaakst geblokkeerd?
Aandeel van de 6.192 domeinen waarvan de robots.txt de homepage voor de crawler verbiedt:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBotmet 10,4% is de AI-zoekcrawler die het vaakst wordt geblokkeerd, vóórOAI-SearchBotmet 7,0% enClaude-SearchBotmet 7,0%.- De crawlers die een pagina openen wanneer een persoon erom vraagt:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Blokkeren grotere sites meer?
Ja, en ze halen training en zoeken vaker door elkaar. We deelden de lijst op naar rang:
- Rang 1 tot 1.000 (560 domeinen met een robots.txt): 28,6% blokkeert training, 18,6% blokkeert AI-zoeken, en 63,1% van de trainingsblokkeerders blokkeert ook AI-zoeken.
- Rang 1.001 tot 3.000 (1.256 domeinen): 23,5%, 13,5% en 55,6%.
- Rang 3.001 tot 10.000 (4.376 domeinen): 22,4%, 11,2% en 48,6%.
De selectieve route is bij elke omvang zeldzaam: 10,5%, 10,4% en 11,5% van de domeinen in de drie groepen.
Is er iets veranderd sinds ons rapport van 12 november?
We hebben de eerste 1.000 domeinen opnieuw doorlopen met dezelfde lijst. Het resultaat is stabiel binnen ongeveer een procentpunt: 28,6% blokkeert training (29,9% op 12 november), 18,6% blokkeert AI-zoeken (19,5%), en 63,1% van de trainingsblokkeerders blokkeert ook AI-zoeken (63,2%). De noemers verschillen een beetje (nu 560 domeinen met een robots.txt, toen 518) omdat deze run de redirect van een domein naar zijn hoofdhost volgt voordat hij ophaalt.
Wat betekent dit voor jouw robots.txt?
De meeste AI-bedrijven beschrijven aparte crawlers voor training en voor zoeken en zeggen dat de instellingen onafhankelijk zijn. Als je GPTBot verbiedt, blijft OAI-SearchBot ongemoeid, en als je ClaudeBot verbiedt, blijft Claude-SearchBot ongemoeid. Wil je training uitsluiten en toch geciteerd worden, blokkeer dan de trainingstokens en sta de zoek- en gebruikerstokens toe, en herhaal privépaden in elke groep, want een benoemde groep erft niets van *.
Hoe betrouwbaar zijn deze cijfers?
Het zijn robots.txt-regels voor de homepage, gelezen door één parser op één dag. Ze meten geen firewallblokkades, die een crawler kunnen weigeren die robots.txt toestaat. Ze kunnen niet zeggen wat elke site bedoelde, en de Tranco-lijst bevat domeinen die geen website serveren. Een regel die een zoekcrawler blokkeert is geen bewijs van een fout, alleen van een keuze die vaak wordt gemaakt zonder het verschil te kennen. Je mag de cijfers citeren met een link naar deze pagina.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- llms.txt-checker en -validator
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Welk deel van de populaire sites blokkeert AI-crawlers?
Van de 6.192 domeinen in de Tranco top 10.000 die een robots.txt serveren, blokkeert 23,2% minstens één AI-trainingscrawler en 12,3% minstens één AI-zoek- of gebruikerscrawler.
Blokkeren sites die AI-training blokkeren ook AI-zoeken?
Vaak wel. Van de sites die een trainingscrawler blokkeren, blokkeert 51,6% ook minstens één AI-zoek- of gebruikerscrawler, hoewel de aanbieders ze beschrijven als aparte crawlers met onafhankelijke instellingen.
Welke AI-crawler wordt het vaakst geblokkeerd?
Onder de trainingscrawlers Bytespider (18,7%) en CCBot (18,5%), daarna GPTBot (17,4%). Onder de AI-zoekcrawlers wordt PerplexityBot het vaakst geblokkeerd, op 10,4% van de domeinen.
Waarom wijken de cijfers af van jullie rapport over 1.000 sites?
De eerste 1.000 domeinen geven bijna dezelfde percentages (28,6% en 18,6% tegenover 29,9% en 19,5%). De cijfers voor 10.000 sites zijn lager omdat kleinere sites minder blokkeren.
Bronnen
- AISeeWhy: Rapport over toegang van AI-crawlers, 2026-11
- Tranco: een onderzoeksgerichte ranglijst van topsites
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overzicht van de crawlers van OpenAI
- Anthropic: Crawlt Anthropic gegevens van het web en hoe kunnen site-eigenaren de crawler blokkeren?
- Perplexity: De crawlers van Perplexity