Vi leste robots.txt hos de 10 000 mest populære nettstedene. Slik håndterer de AI-crawlere
Av de 6 192 domenene i Tranco-toppen på 10 000 som serverer en robots.txt, blokkerer 23,2 % minst én AI-treningscrawler og 12,3 % minst én AI-søke- eller brukercrawler. 51,6 % av nettstedene som blokkerer trening, blokkerer også AI-søk. Bare 11,2 % reserverer seg mot trening og slipper samtidig inn alle AI-søkecrawlere.
I november leste vi robots.txt hos de 1 000 mest populære domenene. Denne gangen leste vi 10 000, med samme metode, og la til en sjekk av hvordan bildet endrer seg etter hvert som nettstedene blir mindre. Hovedfunnet holder: å blokkere trening og å blokkere søk behandles som én beslutning, selv om det er to.
På denne siden
Hvordan målte vi?
Vi tok de 10 000 øverste domenene på Tranco-listen (liste-ID JZWZY) og hentet hvert domenes startside, robots.txt og llms.txt én gang 21. november 2026, med AISeeWhys egen user agent. Vi vurderte hver robots.txt etter RFC 9309 for startsiden (/) og for 16 AI- og søkecrawlere.
6 192 av de 10 000 domenene serverte en robots.txt (et vellykket svar som ikke er en HTML-side). 1 121 svarte med en 4xx, som betyr ingen regler og alle crawlere tillatt, og 2 687 serverte ingen (ikke noe HTTPS-nettsted, feil, tidsavbrudd eller en HTML-side i stedet). Alle prosentene nedenfor gjelder de 6 192. Listen inneholder CDN-er og API-er som ikke serverer noe nettsted.
Hva fant vi?
- 23,2 % (1 437 domener) blokkerer minst én AI-treningscrawler.
- 12,3 % (762) blokkerer minst én AI-søke- eller brukercrawler, så sidene bør ikke brukes eller siteres av svarene som er avhengige av den.
- 51,6 % av domenene som blokkerer en treningscrawler (742 av 1 437), blokkerer også minst én AI-søke- eller brukercrawler.
- Bare 11,2 % (695) velger den selektive veien: de blokkerer treningscrawlere og slipper inn alle AI-søke- og brukercrawlere.
- 6,5 % (401) oppgir AI-preferansene sine med
Content-Signal. - 12,4 % av alle 10 000 domenene (1 240) publiserer en
llms.txt. - Til sammenligning blokkerer 2,0 % (124)
Googlebotpå startsiden.
Hvilke crawlere blokkeres oftest?
Andel av de 6 192 domenene der robots.txt forbyr crawleren startsiden:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % er AI-søkecrawleren som blokkeres oftest, foranOAI-SearchBot7,0 % ogClaude-SearchBot7,0 %.- Crawlerne som åpner en side når en person spør:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
Blokkerer større nettsteder mer?
Ja, og de blander oftere sammen trening og søk. Vi delte listen etter rangering:
- Rangering 1 til 1 000 (560 domener med en robots.txt): 28,6 % blokkerer trening, 18,6 % blokkerer AI-søk, og 63,1 % av dem som blokkerer trening, blokkerer også AI-søk.
- Rangering 1 001 til 3 000 (1 256 domener): 23,5 %, 13,5 % og 55,6 %.
- Rangering 3 001 til 10 000 (4 376 domener): 22,4 %, 11,2 % og 48,6 %.
Den selektive veien er sjelden uansett størrelse: 10,5 %, 10,4 % og 11,5 % av domenene i de tre gruppene.
Har noe endret seg siden rapporten vår fra 12. november?
Vi kjørte de første 1 000 domenene på nytt med samme liste. Resultatet er stabilt innenfor omtrent ett prosentpoeng: 28,6 % blokkerer trening (29,9 % 12. november), 18,6 % blokkerer AI-søk (19,5 %), og 63,1 % av dem som blokkerer trening, blokkerer også AI-søk (63,2 %). Nevnerne er litt forskjellige (nå 560 domener med en robots.txt, den gang 518) fordi denne kjøringen følger et domenes omdirigering til hovedverten før den henter.
Hva betyr det for din robots.txt?
De fleste AI-selskaper dokumenterer separate crawlere for trening og for søk og sier at innstillingene er uavhengige. Å forby GPTBot lar OAI-SearchBot være i fred, og å forby ClaudeBot lar Claude-SearchBot være i fred. Hvis du vil reservere deg mot trening og likevel bli sitert, blokkerer du treningstokenene og tillater søke- og brukertokenene, og gjentar eventuelle private stier i hver gruppe, fordi en navngitt gruppe ikke arver fra *.
Hvor pålitelige er tallene?
Det er robots.txt-regler for startsiden, lest av én parser på én dag. De måler ikke brannmurblokkeringer, som kan avvise en crawler som robots.txt tillater. De kan ikke si hva hvert nettsted ville, og Tranco-listen inneholder domener som ikke serverer noe nettsted. En regel som blokkerer en søkecrawler, er ikke bevis på en feil, bare på et valg som ofte tas uten å kjenne forskjellen. Du kan sitere tallene med en lenke til denne siden.
Neste steg
- robots.txt-tester og -sjekk for AI-crawlere
- llms.txt-sjekk og -validator
- Se et eksempel på en full rapport
- Overvåking av AI-crawlere
- Planer og priser
Crawlere i denne artikkelen
Vanlige spørsmål
Hvor stor andel av populære nettsteder blokkerer AI-crawlere?
Blant de 6 192 domenene i Tranco-toppen på 10 000 som serverer en robots.txt, blokkerer 23,2 % minst én AI-treningscrawler og 12,3 % minst én AI-søke- eller brukercrawler.
Blokkerer nettsteder som blokkerer AI-trening også AI-søk?
Ofte. 51,6 % av nettstedene som blokkerer en treningscrawler, blokkerer også minst én AI-søke- eller brukercrawler, selv om leverandørene dokumenterer dem som separate crawlere med uavhengige innstillinger.
Hvilken AI-crawler blokkeres oftest?
Blant treningscrawlerne Bytespider (18,7 %) og CCBot (18,5 %), deretter GPTBot (17,4 %). Blant AI-søkecrawlerne blokkeres PerplexityBot oftest, på 10,4 % av domenene.
Hvorfor avviker tallene fra rapporten om 1 000 nettsteder?
De første 1 000 domenene gir nesten de samme prosentene (28,6 % og 18,6 % mot 29,9 % og 19,5 %). Tallene for 10 000 nettsteder er lavere fordi mindre nettsteder blokkerer mindre.
Kilder
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers