Fire av ti bedriftsnettsteder avviser AI-crawlere
I revisjonene våre av 165 bedriftsnettsteder i USA, Storbritannia og Frankrike avviste 38 % minst én AI-crawler på serveren, nesten alltid en trenings- eller skraperobot. Omtrent ett av ti nettsteder avviste også en AI-søkecrawler som PerplexityBot eller OAI-SearchBot, altså crawlerne som kan føre til en kildehenvisning. Sjekk ditt eget med én forespørsel per crawler.
Du spør ChatGPT om ditt eget produkt, og den nevner en konkurrent, et anmeldelsessted og en forumtråd. Noen ganger handler det om innholdet. Oftere er det en brannmur som svarer AI-crawlere med et nei, uten at noen på teamet har sett det, fordi nettstedet fungerer i en nettleser.
På denne siden
Hva testet vi?
Vi ber om en side flere ganger fra samme adresse: én gang som en vanlig nettleser, og én gang hver som 14 AI- og søkecrawlere, blant andre GPTBot, OAI-SearchBot og ChatGPT-User fra OpenAI, ClaudeBot og Claude-SearchBot fra Anthropic og PerplexityBot fra Perplexity. Hvis nettleseren får siden og en crawler får 401, 403, 406, 429, 451, 503 eller en utfordringsside, avviser nettstedet den crawleren.
Utvalget er 218 bedriftsnettsteder i USA, Storbritannia og Frankrike, revidert fra 18. til 21. november 2026. Vi kunne kjøre hele testen på 165. De øvrige 53 avviste selv den vanlige nettleserforespørselen vår eller svarte ikke, så vi lot dem ligge i stedet for å gjette.
Hva fant vi?
- 38 % av nettstedene vi kunne teste (63 av 165) avviste minst én AI-crawler.
- Hvert eneste av disse nettstedene avviste minst én trenings- eller skrapercrawler.
Bytespiderble avvist av 35 % av alle nettsteder,ClaudeBotav 13 % ogGPTBotav 11 %. - 10 % av nettstedene (16) avviste også minst én AI-søkecrawler, og 5 % (8) avviste en crawler som åpner en side direkte når en person spør assistenten om den.
- De viktigste søkecrawlerne var
PerplexityBot(11 nettsteder) ogOAI-SearchBot(5 nettsteder). - Cloudflare sto bak 32 av de 66 nettstedene som avviste en av crawlerne vi testet. For ytterligere 30 kunne vi ikke se hvilken brannmur som svarte.
Hvorfor skjer det, og når er det et valg?
Mye av dette er trolig bevisst. Mange eiere vil ikke at innholdet deres skal brukes til å trene modeller, og innstillinger for botbeskyttelse som blokkerer skrapere er enkle å slå på. Det er et rimelig valg.
Problemet er at AI-selskapene bruker egne crawlere til trening og til søk. Å blokkere treningscrawleren krever ikke at du blokkerer søkecrawleren, og søkecrawleren er den som kan føre til at siden din blir sitert i et svar.
Gjør de største nettstedene det bedre?
Egentlig ikke. I robots.txt-rapporten vår om de 1 000 mest populære domenene blokkerer 29,9 % av nettstedene med en robots.txt minst én AI-treningscrawler, og 63,2 % av dem blokkerer også minst én AI-søke- eller brukercrawler. Bare 11,0 % blokkerer trening og slipper inn alle AI-søkecrawlere, som er oppsettet de fleste trolig ønsket.
Hvordan sjekker jeg mitt eget nettsted på ti minutter?
- Åpne
yoursite.com/robots.txt. For hver AI-crawler du bryr deg om, se om en gruppe nevner den og hva gruppen sier. En gruppe som nevner en crawler, erstatter den generelle*-gruppen helt. - Test hva serveren gjør, ikke hva filen sier. Be om den viktigste siden din som nettleser og som crawleren. En 403, en 429, en side med tittelen
Just a moment...eller et svar som er mye mindre enn nettleserens, er kjennetegnet på en brannmurblokkering. - Spør assistenten. Med søk slått på kan du stille ChatGPT eller Perplexity spørsmålene kundene dine stiller, og se hvilke nettsteder den siterer. Hvis tilgangen er i orden og du likevel mangler, er problemet innholdet, ikke tilgangen.
Hvor pålitelige er tallene?
Se på dem som et mønster, ikke en folketelling. Utvalget er ikke tilfeldig: dette er selskaper vi fant gjennom annonsebiblioteker, jobbtavler og kartoppføringer. Vi tester etter user agent fra én adresse, mens de ekte crawlerne kommer fra adressene leverandørene publiserer, så noen brannmurer ville behandlet de ekte annerledes. Og en blokkering er ikke alltid en feil.
Neste steg
- robots.txt-tester og -sjekk for AI-crawlere
- Se et eksempel på en full rapport
- Overvåking av AI-crawlere
- Planer og priser
Crawlere i denne artikkelen
Vanlige spørsmål
Hvor stor andel av nettstedene blokkerer AI-crawlere?
I revisjonen vår av 165 testbare bedriftsnettsteder avviste 38 % minst én AI-crawler på serveren, for det meste trenings- og skraperoboter. Omtrent 10 % avviste også en AI-søkecrawler.
Holder blokkering av GPTBot nettstedet mitt utenfor ChatGPT-søk?
Nei. OpenAI sier at hver robots.txt-innstilling for crawlerne deres er uavhengig: GPTBot gjelder trening, OAI-SearchBot gjelder ChatGPT-søk. Å blokkere den ene blokkerer ikke den andre.
Hvordan kan et nettsted blokkere en crawler uten robots.txt?
En brannmur, et CDN eller en regel for botbeskyttelse kan svare en crawler med en 403, en 429 eller en utfordringsside. robots.txt viser aldri dette, så det må testes ved å be om siden som crawleren.
Er det alltid en feil å avvise en crawler?
Nei. Mange eiere vil holde treningscrawlere og skrapere ute. Feilen er å blokkere søkecrawlere ved et uhell, fordi det er dem som kan sitere siden din.
Kilder
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)