Fire av ti bedriftsnettsteder avviser AI-crawlere

Publisert

Kort svar

I revisjonene våre av 165 bedriftsnettsteder i USA, Storbritannia og Frankrike avviste 38 % minst én AI-crawler på serveren, nesten alltid en trenings- eller skraperobot. Omtrent ett av ti nettsteder avviste også en AI-søkecrawler som PerplexityBot eller OAI-SearchBot, altså crawlerne som kan føre til en kildehenvisning. Sjekk ditt eget med én forespørsel per crawler.

Du spør ChatGPT om ditt eget produkt, og den nevner en konkurrent, et anmeldelsessted og en forumtråd. Noen ganger handler det om innholdet. Oftere er det en brannmur som svarer AI-crawlere med et nei, uten at noen på teamet har sett det, fordi nettstedet fungerer i en nettleser.

På denne siden
  1. Hva testet vi?
  2. Hva fant vi?
  3. Hvorfor skjer det, og når er det et valg?
  4. Gjør de største nettstedene det bedre?
  5. Hvordan sjekker jeg mitt eget nettsted på ti minutter?
  6. Hvor pålitelige er tallene?

Hva testet vi?

Vi ber om en side flere ganger fra samme adresse: én gang som en vanlig nettleser, og én gang hver som 14 AI- og søkecrawlere, blant andre GPTBot, OAI-SearchBot og ChatGPT-User fra OpenAI, ClaudeBot og Claude-SearchBot fra Anthropic og PerplexityBot fra Perplexity. Hvis nettleseren får siden og en crawler får 401, 403, 406, 429, 451, 503 eller en utfordringsside, avviser nettstedet den crawleren.

Utvalget er 218 bedriftsnettsteder i USA, Storbritannia og Frankrike, revidert fra 18. til 21. november 2026. Vi kunne kjøre hele testen på 165. De øvrige 53 avviste selv den vanlige nettleserforespørselen vår eller svarte ikke, så vi lot dem ligge i stedet for å gjette.

Hva fant vi?

Hvorfor skjer det, og når er det et valg?

Mye av dette er trolig bevisst. Mange eiere vil ikke at innholdet deres skal brukes til å trene modeller, og innstillinger for botbeskyttelse som blokkerer skrapere er enkle å slå på. Det er et rimelig valg.

Problemet er at AI-selskapene bruker egne crawlere til trening og til søk. Å blokkere treningscrawleren krever ikke at du blokkerer søkecrawleren, og søkecrawleren er den som kan føre til at siden din blir sitert i et svar.

Gjør de største nettstedene det bedre?

Egentlig ikke. I robots.txt-rapporten vår om de 1 000 mest populære domenene blokkerer 29,9 % av nettstedene med en robots.txt minst én AI-treningscrawler, og 63,2 % av dem blokkerer også minst én AI-søke- eller brukercrawler. Bare 11,0 % blokkerer trening og slipper inn alle AI-søkecrawlere, som er oppsettet de fleste trolig ønsket.

Hvordan sjekker jeg mitt eget nettsted på ti minutter?

  1. Åpne yoursite.com/robots.txt. For hver AI-crawler du bryr deg om, se om en gruppe nevner den og hva gruppen sier. En gruppe som nevner en crawler, erstatter den generelle *-gruppen helt.
  2. Test hva serveren gjør, ikke hva filen sier. Be om den viktigste siden din som nettleser og som crawleren. En 403, en 429, en side med tittelen Just a moment... eller et svar som er mye mindre enn nettleserens, er kjennetegnet på en brannmurblokkering.
  3. Spør assistenten. Med søk slått på kan du stille ChatGPT eller Perplexity spørsmålene kundene dine stiller, og se hvilke nettsteder den siterer. Hvis tilgangen er i orden og du likevel mangler, er problemet innholdet, ikke tilgangen.

Hvor pålitelige er tallene?

Se på dem som et mønster, ikke en folketelling. Utvalget er ikke tilfeldig: dette er selskaper vi fant gjennom annonsebiblioteker, jobbtavler og kartoppføringer. Vi tester etter user agent fra én adresse, mens de ekte crawlerne kommer fra adressene leverandørene publiserer, så noen brannmurer ville behandlet de ekte annerledes. Og en blokkering er ikke alltid en feil.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Hvor stor andel av nettstedene blokkerer AI-crawlere?

I revisjonen vår av 165 testbare bedriftsnettsteder avviste 38 % minst én AI-crawler på serveren, for det meste trenings- og skraperoboter. Omtrent 10 % avviste også en AI-søkecrawler.

Holder blokkering av GPTBot nettstedet mitt utenfor ChatGPT-søk?

Nei. OpenAI sier at hver robots.txt-innstilling for crawlerne deres er uavhengig: GPTBot gjelder trening, OAI-SearchBot gjelder ChatGPT-søk. Å blokkere den ene blokkerer ikke den andre.

Hvordan kan et nettsted blokkere en crawler uten robots.txt?

En brannmur, et CDN eller en regel for botbeskyttelse kan svare en crawler med en 403, en 429 eller en utfordringsside. robots.txt viser aldri dette, så det må testes ved å be om siden som crawleren.

Er det alltid en feil å avvise en crawler?

Nei. Mange eiere vil holde treningscrawlere og skrapere ute. Feilen er å blokkere søkecrawlere ved et uhell, fordi det er dem som kan sitere siden din.

Kilder

Flere artikler