Fire ud af ti virksomhedssites afviser AI-crawlere

Udgivet

Kort svar

I vores audits af 165 virksomhedssites i USA, UK og Frankrig afviste 38% mindst én AI-crawler på serveren, næsten altid en bot til træning eller scraping. Cirka hvert tiende site afviste desuden en AI-søgecrawler som PerplexityBot eller OAI-SearchBot, altså de crawlere, der kan føre til en citation. Tjek dit eget site med én forespørgsel pr. crawler.

Du spørger ChatGPT om dit eget produkt, og den nævner en konkurrent, et anmeldelsessite og en forumtråd. Nogle gange handler det om indhold. Ofte er det en firewall, der svarer nej til AI-crawlere, uden at nogen på dit team har set det, fordi sitet fungerer fint i en browser.

På denne side
  1. Hvad testede vi?
  2. Hvad fandt vi?
  3. Hvorfor sker det, og hvornår er det et valg?
  4. Klarer de største sites sig bedre?
  5. Hvordan tjekker jeg mit eget site på ti minutter?
  6. Hvor pålidelige er tallene?

Hvad testede vi?

Vi henter en side flere gange fra den samme adresse: én gang som en almindelig browser og én gang som hver af 14 AI- og søgecrawlere, blandt andet GPTBot, OAI-SearchBot og ChatGPT-User fra OpenAI, ClaudeBot og Claude-SearchBot fra Anthropic samt PerplexityBot fra Perplexity. Hvis browseren får siden, og en crawler får en 401, 403, 406, 429, 451, 503 eller en udfordringsside, afviser sitet den crawler.

Stikprøven er 218 virksomhedssites i USA, UK og Frankrig, auditeret fra 18. til 21. november 2026. Vi kunne gennemføre den fulde test på 165. De øvrige 53 afviste selv vores almindelige browserforespørgsel eller svarede ikke, så vi udelod dem i stedet for at gætte.

Hvad fandt vi?

Hvorfor sker det, og hvornår er det et valg?

Meget af det er sandsynligvis bevidst. Mange ejere ønsker ikke, at deres indhold bruges til at træne modeller, og indstillinger til botbeskyttelse, der blokerer scrapere, er nemme at slå til. Det er et rimeligt valg.

Problemet er, at AI-virksomheder har separate crawlere til træning og til søgning. Man behøver ikke blokere søgecrawleren for at blokere træningscrawleren, og det er søgecrawleren, der kan føre til, at din side bliver citeret i et svar.

Klarer de største sites sig bedre?

Ikke rigtigt. I vores robots.txt-rapport om de 1.000 mest populære domæner blokerer 29,9% af de sites, der har en robots.txt, mindst én AI-træningscrawler, og 63,2% af dem blokerer også mindst én AI-søgecrawler eller brugercrawler. Kun 11,0% blokerer træning, mens de tillader alle AI-søgecrawlere, hvilket sandsynligvis er den opsætning, de fleste ønskede.

Hvordan tjekker jeg mit eget site på ti minutter?

  1. Åbn yoursite.com/robots.txt. For hver AI-crawler, du interesserer dig for, skal du se, om en gruppe nævner den, og hvad gruppen siger. En gruppe, der nævner en crawler, erstatter helt den generelle *-gruppe.
  2. Test, hvad serveren gør, ikke hvad filen siger. Hent din vigtigste side som browser og som crawleren. En 403, en 429, en side med titlen Just a moment... eller et svar, der er meget mindre end browserens, er kendetegnet på en firewallblokering.
  3. Spørg assistenten. Med søgning slået til kan du stille ChatGPT eller Perplexity de spørgsmål, dine kunder stiller, og se, hvilke sites den citerer. Hvis adgangen er i orden, og du stadig mangler, er problemet indholdet, ikke adgangen.

Hvor pålidelige er tallene?

Se dem som et mønster, ikke en folketælling. Stikprøven er ikke tilfældig: Det er virksomheder fundet via annoncebiblioteker, jobportaler og kortlistninger. Vi tester på user agent fra én adresse, mens de rigtige crawlere kommer fra de adresser, deres udbydere offentliggør, så nogle firewalls ville behandle de rigtige anderledes. Og en blokering er ikke altid en fejl.

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Ofte stillede spørgsmål

Hvor stor en andel af websites blokerer AI-crawlere?

I vores audit af 165 testbare virksomhedssites afviste 38% mindst én AI-crawler på serveren, mest bots til træning og scraping. Cirka 10% afviste også en AI-søgecrawler.

Holder en blokering af GPTBot mit site ude af ChatGPT-søgning?

Nej. OpenAI siger, at hver robots.txt-indstilling for virksomhedens crawlere er uafhængig: GPTBot vedrører træning, OAI-SearchBot ChatGPT-søgning. Blokerer du den ene, blokerer du ikke den anden.

Hvordan kan et site blokere en crawler uden robots.txt?

En firewall, et CDN eller en regel til botbeskyttelse kan svare en crawler med en 403, en 429 eller en udfordringsside. robots.txt viser aldrig dette, så det skal testes ved at hente siden som crawleren.

Er det altid en fejl at afvise en crawler?

Nej. Mange ejere vil gerne holde træningscrawlere og scrapere ude. Fejlen er at blokere søgecrawlere ved et uheld, for det er dem, der kan citere din side.

Kilder

Flere artikler