Vi läste robots.txt på de 10 000 mest populära sajterna. Så hanterar de AI-crawlers
Av de 6 192 domänerna i Tranco-listans topp 10 000 som levererar en robots.txt blockerar 23,2 % minst en AI-träningscrawler och 12,3 % minst en AI-sök- eller användarcrawler. 51,6 % av sajterna som blockerar träning blockerar också AI-sökning. Bara 11,2 % väljer bort träning men tillåter alla AI-sökcrawlers.
I november läste vi robots.txt för de 1 000 mest populära domänerna. Den här gången läste vi 10 000 med samma metod och kontrollerade dessutom hur bilden ändras när sajterna blir mindre. Huvudresultatet håller: att blockera träning och att blockera sökning behandlas som ett enda beslut, fast de är två.
På den här sidan
Hur mätte vi?
Vi tog de 10 000 främsta domänerna i Tranco-listan (list-ID JZWZY) och hämtade varje domäns startsida, robots.txt och llms.txt en gång den 21 november 2026, med AISeeWhys egen user agent. Vi bedömde varje robots.txt enligt RFC 9309 för startsidan (/) och för 16 AI- och sökcrawlers.
6 192 av de 10 000 domänerna levererade en robots.txt (ett lyckat svar som inte är en HTML-sida). 1 121 svarade med en 4xx, vilket betyder inga regler och att alla crawlers är tillåtna, och 2 687 levererade ingen (ingen HTTPS-sajt, fel, tidsgränser eller en HTML-sida i stället). Alla procenttal nedan avser de 6 192. Listan innehåller CDN:er och API:er som inte driver någon webbplats.
Vad hittade vi?
- 23,2 % (1 437 domäner) blockerar minst en AI-träningscrawler.
- 12,3 % (762) blockerar minst en AI-sök- eller användarcrawler, så deras sidor ska inte användas eller citeras av de svar som bygger på den.
- 51,6 % av domänerna som blockerar en träningscrawler (742 av 1 437) blockerar också minst en AI-sök- eller användarcrawler.
- Bara 11,2 % (695) väljer den selektiva vägen: de blockerar träningscrawlers och tillåter alla AI-sök- och användarcrawlers.
- 6,5 % (401) uppger sina AI-preferenser med
Content-Signal. - 12,4 % av alla 10 000 domäner (1 240) publicerar en
llms.txt. - Som jämförelse blockerar 2,0 % (124)
Googlebotpå startsidan.
Vilka crawlers blockeras oftast?
Andel av de 6 192 domänerna vars robots.txt förbjuder startsidan för crawlern:
Bytespider18,7 %,CCBot18,5 %,GPTBot17,4 %,ClaudeBot16,5 %.Meta-ExternalAgent15,5 %,Google-Extended14,9 %,Applebot-Extended14,6 %.PerplexityBot10,4 % är den AI-sökcrawler som blockeras oftast, föreOAI-SearchBot7,0 % ochClaude-SearchBot7,0 %.- De crawlers som öppnar en sida när en person frågar:
ChatGPT-User8,9 %,Perplexity-User7,7 %,Claude-User7,4 %.
Blockerar större sajter mer?
Ja, och de blandar ihop träning och sökning oftare. Vi delade upp listan efter rank:
- Rank 1–1 000 (560 domäner med robots.txt): 28,6 % blockerar träning, 18,6 % blockerar AI-sökning, och 63,1 % av dem som blockerar träning blockerar också AI-sökning.
- Rank 1 001–3 000 (1 256 domäner): 23,5 %, 13,5 % och 55,6 %.
- Rank 3 001–10 000 (4 376 domäner): 22,4 %, 11,2 % och 48,6 %.
Den selektiva vägen är ovanlig oavsett storlek: 10,5 %, 10,4 % och 11,5 % av domänerna i de tre grupperna.
Har något ändrats sedan vår rapport den 12 november?
Vi körde om de första 1 000 domänerna med samma lista. Resultatet är stabilt inom ungefär en procentenhet: 28,6 % blockerar träning (29,9 % den 12 november), 18,6 % blockerar AI-sökning (19,5 %), och 63,1 % av dem som blockerar träning blockerar också AI-sökning (63,2 %). Nämnarna skiljer sig något (560 domäner med robots.txt nu, 518 då) eftersom den här körningen följer en domäns omdirigering till huvudvärden innan hämtningen.
Vad betyder det för din robots.txt?
De flesta AI-företag dokumenterar separata crawlers för träning och för sökning och säger att inställningarna är oberoende. Att förbjuda GPTBot påverkar inte OAI-SearchBot, och att förbjuda ClaudeBot påverkar inte Claude-SearchBot. Vill du välja bort träning men ändå bli citerad, blockera träningstoken och tillåt sök- och användartoken, och upprepa alla privata sökvägar i varje grupp, eftersom en namngiven grupp inte ärver från *.
Hur pålitliga är siffrorna?
Det är robots.txt-regler för startsidan, lästa av en parser under en dag. De mäter inte brandväggsblock, som kan avvisa en crawler som robots.txt tillåter. De kan inte visa vad varje sajt avsåg, och Tranco-listan innehåller domäner som inte driver någon webbplats. En regel som blockerar en sökcrawler är inget bevis på ett misstag, bara på ett val som ofta görs utan att man känner till skillnaden. Du får gärna citera siffrorna med en länk till den här sidan.
Nästa steg
- robots.txt-testare och kontroll för AI-crawlers
- llms.txt-kontroll och validering
- Se ett exempel på en fullständig rapport
- Bevakning av AI-crawlers
- Planer och priser
Crawlers i den här artikeln
Vanliga frågor
Hur stor andel av populära sajter blockerar AI-crawlers?
Bland de 6 192 domänerna i Tranco-listans topp 10 000 som levererar en robots.txt blockerar 23,2 % minst en AI-träningscrawler och 12,3 % minst en AI-sök- eller användarcrawler.
Blockerar sajter som stoppar AI-träning också AI-sökning?
Ofta. 51,6 % av sajterna som blockerar en träningscrawler blockerar också minst en AI-sök- eller användarcrawler, fast leverantörerna dokumenterar dem som separata crawlers med oberoende inställningar.
Vilken AI-crawler blockeras oftast?
Bland träningscrawlers Bytespider (18,7 %) och CCBot (18,5 %), följda av GPTBot (17,4 %). Bland AI-sökcrawlers blockeras PerplexityBot oftast, på 10,4 % av domänerna.
Varför skiljer sig siffrorna från er rapport om 1 000 sajter?
De första 1 000 domänerna ger nästan samma procenttal (28,6 % och 18,6 % mot 29,9 % och 19,5 %). Siffrorna för 10 000 sajter är lägre eftersom mindre sajter blockerar mindre.
Källor
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers