Vi läste robots.txt på de 10 000 mest populära sajterna. Så hanterar de AI-crawlers

Publicerad

Kort svar

Av de 6 192 domänerna i Tranco-listans topp 10 000 som levererar en robots.txt blockerar 23,2 % minst en AI-träningscrawler och 12,3 % minst en AI-sök- eller användarcrawler. 51,6 % av sajterna som blockerar träning blockerar också AI-sökning. Bara 11,2 % väljer bort träning men tillåter alla AI-sökcrawlers.

I november läste vi robots.txt för de 1 000 mest populära domänerna. Den här gången läste vi 10 000 med samma metod och kontrollerade dessutom hur bilden ändras när sajterna blir mindre. Huvudresultatet håller: att blockera träning och att blockera sökning behandlas som ett enda beslut, fast de är två.

På den här sidan
  1. Hur mätte vi?
  2. Vad hittade vi?
  3. Vilka crawlers blockeras oftast?
  4. Blockerar större sajter mer?
  5. Har något ändrats sedan vår rapport den 12 november?
  6. Vad betyder det för din robots.txt?
  7. Hur pålitliga är siffrorna?

Hur mätte vi?

Vi tog de 10 000 främsta domänerna i Tranco-listan (list-ID JZWZY) och hämtade varje domäns startsida, robots.txt och llms.txt en gång den 21 november 2026, med AISeeWhys egen user agent. Vi bedömde varje robots.txt enligt RFC 9309 för startsidan (/) och för 16 AI- och sökcrawlers.

6 192 av de 10 000 domänerna levererade en robots.txt (ett lyckat svar som inte är en HTML-sida). 1 121 svarade med en 4xx, vilket betyder inga regler och att alla crawlers är tillåtna, och 2 687 levererade ingen (ingen HTTPS-sajt, fel, tidsgränser eller en HTML-sida i stället). Alla procenttal nedan avser de 6 192. Listan innehåller CDN:er och API:er som inte driver någon webbplats.

Vad hittade vi?

Vilka crawlers blockeras oftast?

Andel av de 6 192 domänerna vars robots.txt förbjuder startsidan för crawlern:

Blockerar större sajter mer?

Ja, och de blandar ihop träning och sökning oftare. Vi delade upp listan efter rank:

Den selektiva vägen är ovanlig oavsett storlek: 10,5 %, 10,4 % och 11,5 % av domänerna i de tre grupperna.

Har något ändrats sedan vår rapport den 12 november?

Vi körde om de första 1 000 domänerna med samma lista. Resultatet är stabilt inom ungefär en procentenhet: 28,6 % blockerar träning (29,9 % den 12 november), 18,6 % blockerar AI-sökning (19,5 %), och 63,1 % av dem som blockerar träning blockerar också AI-sökning (63,2 %). Nämnarna skiljer sig något (560 domäner med robots.txt nu, 518 då) eftersom den här körningen följer en domäns omdirigering till huvudvärden innan hämtningen.

Vad betyder det för din robots.txt?

De flesta AI-företag dokumenterar separata crawlers för träning och för sökning och säger att inställningarna är oberoende. Att förbjuda GPTBot påverkar inte OAI-SearchBot, och att förbjuda ClaudeBot påverkar inte Claude-SearchBot. Vill du välja bort träning men ändå bli citerad, blockera träningstoken och tillåt sök- och användartoken, och upprepa alla privata sökvägar i varje grupp, eftersom en namngiven grupp inte ärver från *.

Hur pålitliga är siffrorna?

Det är robots.txt-regler för startsidan, lästa av en parser under en dag. De mäter inte brandväggsblock, som kan avvisa en crawler som robots.txt tillåter. De kan inte visa vad varje sajt avsåg, och Tranco-listan innehåller domäner som inte driver någon webbplats. En regel som blockerar en sökcrawler är inget bevis på ett misstag, bara på ett val som ofta görs utan att man känner till skillnaden. Du får gärna citera siffrorna med en länk till den här sidan.

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Hur stor andel av populära sajter blockerar AI-crawlers?

Bland de 6 192 domänerna i Tranco-listans topp 10 000 som levererar en robots.txt blockerar 23,2 % minst en AI-träningscrawler och 12,3 % minst en AI-sök- eller användarcrawler.

Blockerar sajter som stoppar AI-träning också AI-sökning?

Ofta. 51,6 % av sajterna som blockerar en träningscrawler blockerar också minst en AI-sök- eller användarcrawler, fast leverantörerna dokumenterar dem som separata crawlers med oberoende inställningar.

Vilken AI-crawler blockeras oftast?

Bland träningscrawlers Bytespider (18,7 %) och CCBot (18,5 %), följda av GPTBot (17,4 %). Bland AI-sökcrawlers blockeras PerplexityBot oftast, på 10,4 % av domänerna.

Varför skiljer sig siffrorna från er rapport om 1 000 sajter?

De första 1 000 domänerna ger nästan samma procenttal (28,6 % och 18,6 % mot 29,9 % och 19,5 %). Siffrorna för 10 000 sajter är lägre eftersom mindre sajter blockerar mindre.

Källor

Fler artiklar