Fyra av tio företagswebbplatser stänger ute AI-crawlers

Publicerad

Kort svar

I våra granskningar av 165 företagswebbplatser i USA, Storbritannien och Frankrike stängde 38 % ute minst en AI-crawler på servern, nästan alltid en tränings- eller skrapbot. Ungefär var tionde sajt avvisade också en AI-sökcrawler som PerplexityBot eller OAI-SearchBot, alltså de crawlers som kan leda till en källhänvisning. Kontrollera din sajt med en förfrågan per crawler.

Du frågar ChatGPT om din egen produkt och får svar som nämner en konkurrent, en recensionssajt och en forumtråd. Ibland handlar det om innehållet. Ofta är det en brandvägg som säger nej till AI-crawlers, något ingen i ditt team någonsin har sett eftersom sajten fungerar i webbläsaren.

På den här sidan
  1. Vad testade vi?
  2. Vad hittade vi?
  3. Varför händer det, och när är det ett val?
  4. Klarar sig de största sajterna bättre?
  5. Hur kontrollerar jag min egen sajt på tio minuter?
  6. Hur pålitliga är siffrorna?

Vad testade vi?

Vi hämtar en sida flera gånger från samma adress: en gång som en vanlig webbläsare och en gång var som 14 AI- och sökcrawlers, bland dem GPTBot, OAI-SearchBot och ChatGPT-User från OpenAI, ClaudeBot och Claude-SearchBot från Anthropic samt PerplexityBot från Perplexity. Om webbläsaren får sidan men en crawler får 401, 403, 406, 429, 451, 503 eller en utmaningssida stänger sajten ute den crawlern.

Urvalet är 218 företagswebbplatser i USA, Storbritannien och Frankrike, granskade den 18–21 november 2026. Vi kunde köra hela testet på 165. De övriga 53 avvisade redan vår vanliga webbläsarförfrågan eller svarade inte, så vi lämnade dem utanför i stället för att gissa.

Vad hittade vi?

Varför händer det, och när är det ett val?

Mycket av detta är sannolikt avsiktligt. Många ägare vill inte att deras innehåll används för att träna modeller, och inställningar i botskydd som blockerar skrapare är enkla att slå på. Det är ett rimligt val.

Problemet är att AI-företag kör separata crawlers för träning och för sökning. Man behöver inte blockera sökcrawlern för att blockera träningscrawlern, och det är sökcrawlern som kan leda till att din sida citeras i ett svar.

Klarar sig de största sajterna bättre?

Inte direkt. I vår robots.txt-rapport om de 1 000 mest populära domänerna blockerar 29,9 % av sajterna med en robots.txt minst en AI-träningscrawler, och 63,2 % av dem blockerar dessutom minst en AI-sök- eller användarcrawler. Bara 11,0 % blockerar träning men tillåter alla AI-sökcrawlers, vilket förmodligen är den inställning de flesta ville ha.

Hur kontrollerar jag min egen sajt på tio minuter?

  1. Öppna yoursite.com/robots.txt. För varje AI-crawler du bryr dig om, kontrollera om någon grupp nämner den och vad gruppen säger. En grupp som nämner en crawler ersätter den allmänna *-gruppen helt.
  2. Testa vad servern gör, inte vad filen säger. Begär din viktigaste sida som webbläsare och som crawlern. En 403, en 429, en sida med titeln Just a moment... eller ett svar som är mycket mindre än webbläsarens är kännetecknet för ett brandväggsblock.
  3. Fråga assistenten. Med sökning aktiverad kan du ställa ChatGPT eller Perplexity de frågor dina köpare ställer och se vilka sajter som citeras. Om åtkomsten fungerar och du ändå saknas ligger problemet i innehållet, inte i åtkomsten.

Hur pålitliga är siffrorna?

Se dem som ett mönster, inte som en folkräkning. Urvalet är inte slumpmässigt: det är företag vi hittat via annonsbibliotek, jobbsajter och kartlistor. Vi testar via user agent från en enda adress, medan de riktiga crawlers kommer från de adresser deras leverantörer publicerar, så vissa brandväggar skulle behandla de riktiga annorlunda. Och ett block är inte alltid ett misstag.

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Hur stor andel av webbplatserna blockerar AI-crawlers?

I vår granskning av 165 testbara företagswebbplatser stängde 38 % ute minst en AI-crawler på servern, mestadels tränings- och skrapbotar. Ungefär 10 % avvisade också en AI-sökcrawler.

Håller jag min sajt utanför ChatGPT-sökning om jag blockerar GPTBot?

Nej. OpenAI uppger att varje robots.txt-inställning för företagets crawlers är oberoende: GPTBot gäller träning och OAI-SearchBot gäller ChatGPT-sökning. Att blockera den ena blockerar inte den andra.

Hur kan en sajt blockera en crawler utan robots.txt?

En brandvägg, ett CDN eller en regel i ett botskydd kan svara en crawler med 403, 429 eller en utmaningssida. Det syns aldrig i robots.txt, så man måste testa genom att begära sidan som crawlern.

Är det alltid ett misstag att stänga ute en crawler?

Nej. Många ägare vill hålla träningscrawlers och skrapare ute. Misstaget är att av misstag blockera sökcrawlers, eftersom det är de som kan citera din sida.

Källor

Fler artiklar