Slik sjekker du om et nettsted blokkerer AI-crawlere
Lim inn en hvilken som helst adresse og se om den blokkerer GPTBot, ClaudeBot, PerplexityBot og de andre AI-crawlerne: i robots.txt, i brannmuren, eller begge steder.
Gratis · Ingen registrering · Svar på 30 sekunder
Hvilke crawlere som er blokkert
Trenings-, søke- og brukercrawlere vises hver for seg, fordi blokkering av GPTBot ikke blokkerer OAI-SearchBot, og blokkering av ClaudeBot ikke blokkerer Claude-SearchBot.
Linjen som avgjør
For hver crawler leses robots.txt etter reglene i RFC 9309: gruppen som nevner den, eller User-agent: * som reserve, og regelen som vinner.
Avvisninger fra brannmuren
Siden hentes som 14 crawlere og som en vanlig nettleser. Blokkeringer og utfordringssider flagges, og brannmuren som svarte, blir navngitt.
En løsning for hvert funn
Hvert funn kommer med endringen du bør gjøre. Den gratis sjekken viser poengsummen din og det første funnet; hele rapporten koster $29, én gang.
Et nettsted kan blokkere AI-crawlere to steder: i robots.txt, som ber crawlere holde seg unna, og på serveren eller i brannmuren, som faktisk avviser dem. Les robots.txt etter hver crawlers token, med User-agent: * som reserve, og hent deretter siden som crawleren og sammenlign med en nettleser. En nettleserutvidelse tar robots.txt-delen for 16 AI-crawlere med ett klikk.
Sjekk selv i 3 steg
- Velg crawler
Hvert AI-selskap har flere forskjellige. Trening:
GPTBot,ClaudeBot. Søk:OAI-SearchBot,Claude-SearchBot,PerplexityBot. På forespørsel fra en person:ChatGPT-User,Claude-User,Perplexity-User. - Les robots.txt for den
Åpne
https://example.com/robots.txtog finn gruppen som nevner crawleren. Hvis ingen gruppe gjør det, gjelder gruppenUser-agent: *; finnes ingen av delene, er alt tillatt. - Hent siden som crawleren
Be om siden med crawlerens user agent og sammenlign status og størrelse med det en nettleser får. En 403, en utfordringsside eller en mye mindre 200 betyr at brannmuren avviser den.
Vanlige spørsmål
Er et nettsted uten robots.txt åpent for AI-crawlere?
Ja, så langt robots.txt rekker. En 404 for robots.txt betyr at det ikke finnes regler, så alle crawlere kan hente alle sider. En brannmur kan likevel blokkere crawlere.
Viser utvidelsen blokkeringer i brannmuren?
Nei. Den leser robots.txt fra nettleseren din, og det viser hva nettstedet ber crawlere om. Blokkeringer i brannmur og botbeskyttelse krever en forespørsel sendt som crawleren, og det gjør den fullstendige sjekken på aiseewhy.com.
Kan jeg sjekke et nettsted som ikke er mitt?
Ja. robots.txt er offentlig, og utvidelsen leser bare robots.txt- og llms.txt-filene nettstedet publiserer, de samme filene som alle crawlere leser.
Les hele guiden
Enten du sjekker ditt eget nettsted etter en endring eller ser på noen andres før du stoler på det, har spørsmålet «blokkerer dette nettstedet AI-crawlere?» et presist svar. Det avhenger av hvilken crawler du mener, fordi AI-selskapene kjører separate crawlere for trening, for søk og for direkte besøk, og et nettsted kan behandle hver av dem ulikt. Denne guiden viser tre sjekker, fra den raskeste til den mest fullstendige.
Hvor kan et nettsted blokkere AI-crawlere
Det finnes tre lag, og en crawler må komme gjennom alle for å kunne bruke en side.
- robots.txt: en offentlig fil med regler som veloppdragne crawlere leser før de henter noe. Den er en forespørsel, ikke en lås.
- Serveren, CDN-en eller brannmuren: den avgjør hva som faktisk sendes tilbake. En regel i botbeskyttelsen kan svare en crawler med en 403, en 429 eller en utfordringsside selv når robots.txt tillater den.
- Selve siden: hvis hovedteksten først vises etter at JavaScript har kjørt, får en crawler som leser den første HTML-koden en nesten tom side, selv om ingenting blokkerte den.
De fleste raske sjekker ser bare på det første laget. Det er en god start, så lenge du husker de to andre.
Hvordan leser jeg robots.txt for én AI-crawler
Åpne https://example.com/robots.txt i en nettleser og finn gruppen som gjelder for crawleren. En gruppe starter med én eller flere User-agent-linjer. Crawleren bruker gruppen som nevner tokenen dens, for eksempel GPTBot; matchingen skiller ikke mellom store og små bokstaver. Hvis ingen gruppe nevner den, bruker den gruppen User-agent: *. Finnes ingen av delene, er alt tillatt.
Innenfor gruppen vinner regelen med den lengste matchende stien, og når en Allow og en Disallow er like lange, vinner Allow. Filen nedenfor blokkerer altså GPTBot fra hele nettstedet, men slipper inn alle andre crawlere:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Se også på hvordan filen svarer. Ifølge RFC 9309 betyr en 404 at det ikke finnes regler, så alt er tillatt. En serverfeil (5xx) eller ikke noe svar i det hele tatt betyr at en crawler må behandle hele nettstedet som forbudt. En robots.txt-adresse som returnerer en HTML-side, er en vanlig feil: crawlere finner ingen gyldige regler i den.
Hvordan sjekker jeg alle AI-crawlere på en gang
Å lese filen for hånd går tregt så snart du bryr deg om mer enn én crawler. Hvert AI-selskap kjører flere, med ulike oppgaver:
- Treningscrawlere samler inn innhold til modelltrening:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, pluss tokeneneGoogle-ExtendedogApplebot-Extended, som bare finnes i robots.txt. - Søkecrawlere indekserer sider slik at AI-svar kan sitere dem:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Brukercrawlere henter en side når en person ber assistenten om det:
ChatGPT-User,Claude-User,Perplexity-User.
Den gratis Chrome-utvidelsen Sjekk av KI-crawlere gjør dette med ett klikk. Åpne hvilken som helst side, klikk på ikonet, så leser den nettstedets robots.txt og viser for hver av 16 crawlere om siden er tillatt og hvilken linje som avgjør det. Den viser også Content-Signal-preferanser, om nettstedet har en llms.txt, og sitemapene som er oppført i robots.txt. Den kjører i nettleseren din, krever ingen konto og leser bare nettstedet du klikker den på.
Uten Chrome gir den gratis robots.txt-sjekken på aiseewhy.com samme svar for en URL du limer inn.
Hvordan sjekker jeg om brannmuren slipper dem gjennom
robots.txt viser hva nettstedet ber om. For å se hva en crawler faktisk får, ber du om siden to ganger, én gang som nettleser og én gang med crawlerens user agent, og sammenligner statuskoden og størrelsen på svaret:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Hvis nettleseren får 200 og crawleren får 403, 429 eller 503, eller en mye mindre side, behandler en brannmur eller botbeskyttelse crawleren annerledes. Én begrensning gjelder for alle tester utenfra: de kommer fra ditt nettverk, ikke fra AI-selskapets. En brannmur som stoler på crawlere ut fra de publiserte IP-adressene deres, kan behandle den ekte crawleren annerledes, så serverloggene dine har siste ord.
Den fullstendige sjekken på aiseewhy.com henter siden som alle 16 crawlere ved siden av en ekte nettleser, navngir brannmuren eller regelen som blokkerer en crawler, og sammenligner teksten hver av dem fikk.
Hvilket resultat bør jeg sikte mot
Det avhenger av hva du vil. Vil du bli sitert i ChatGPT-søk, Claude og Perplexity, må søke- og brukercrawlerne være tillatt i robots.txt og få den ekte siden fra serveren. Vil du ikke at innholdet ditt skal brukes til trening, blokkerer du bare treningstokenene. Dette er separate valg: å blokkere GPTBot blokkerer ikke OAI-SearchBot, og å blokkere ClaudeBot blokkerer ikke Claude-SearchBot.
Mange nettsteder blander dem sammen. I rapporten vår fra november 2026 om de 1 000 mest populære domenene blokkerer 63 % av nettstedene som blokkerer en treningscrawler, også minst én AI-søkecrawler eller brukercrawler, noe som holder sidene deres ute av disse AI-svarene.
Neste steg
- robots.txt-tester og -sjekk for AI-crawlere
- llms.txt-sjekk og -validator
- Se et eksempel på en full rapport
- Overvåking av AI-crawlere
- Planer og priser
Crawlere i denne artikkelen
Kilder
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI Crawler Access Report, 2026-11