Slik sjekker du om et nettsted blokkerer AI-crawlere

Lim inn en hvilken som helst adresse og se om den blokkerer GPTBot, ClaudeBot, PerplexityBot og de andre AI-crawlerne: i robots.txt, i brannmuren, eller begge steder.

Gratis · Ingen registrering · Svar på 30 sekunder

Hvilke crawlere som er blokkert

Trenings-, søke- og brukercrawlere vises hver for seg, fordi blokkering av GPTBot ikke blokkerer OAI-SearchBot, og blokkering av ClaudeBot ikke blokkerer Claude-SearchBot.

Linjen som avgjør

For hver crawler leses robots.txt etter reglene i RFC 9309: gruppen som nevner den, eller User-agent: * som reserve, og regelen som vinner.

Avvisninger fra brannmuren

Siden hentes som 14 crawlere og som en vanlig nettleser. Blokkeringer og utfordringssider flagges, og brannmuren som svarte, blir navngitt.

En løsning for hvert funn

Hvert funn kommer med endringen du bør gjøre. Den gratis sjekken viser poengsummen din og det første funnet; hele rapporten koster $29, én gang.

Kort svar

Et nettsted kan blokkere AI-crawlere to steder: i robots.txt, som ber crawlere holde seg unna, og på serveren eller i brannmuren, som faktisk avviser dem. Les robots.txt etter hver crawlers token, med User-agent: * som reserve, og hent deretter siden som crawleren og sammenlign med en nettleser. En nettleserutvidelse tar robots.txt-delen for 16 AI-crawlere med ett klikk.

Sjekk selv i 3 steg

  1. Velg crawler

    Hvert AI-selskap har flere forskjellige. Trening: GPTBot, ClaudeBot. Søk: OAI-SearchBot, Claude-SearchBot, PerplexityBot. På forespørsel fra en person: ChatGPT-User, Claude-User, Perplexity-User.

  2. Les robots.txt for den

    Åpne https://example.com/robots.txt og finn gruppen som nevner crawleren. Hvis ingen gruppe gjør det, gjelder gruppen User-agent: *; finnes ingen av delene, er alt tillatt.

  3. Hent siden som crawleren

    Be om siden med crawlerens user agent og sammenlign status og størrelse med det en nettleser får. En 403, en utfordringsside eller en mye mindre 200 betyr at brannmuren avviser den.

Vanlige spørsmål

Er et nettsted uten robots.txt åpent for AI-crawlere?

Ja, så langt robots.txt rekker. En 404 for robots.txt betyr at det ikke finnes regler, så alle crawlere kan hente alle sider. En brannmur kan likevel blokkere crawlere.

Viser utvidelsen blokkeringer i brannmuren?

Nei. Den leser robots.txt fra nettleseren din, og det viser hva nettstedet ber crawlere om. Blokkeringer i brannmur og botbeskyttelse krever en forespørsel sendt som crawleren, og det gjør den fullstendige sjekken på aiseewhy.com.

Kan jeg sjekke et nettsted som ikke er mitt?

Ja. robots.txt er offentlig, og utvidelsen leser bare robots.txt- og llms.txt-filene nettstedet publiserer, de samme filene som alle crawlere leser.

Les hele guiden

Enten du sjekker ditt eget nettsted etter en endring eller ser på noen andres før du stoler på det, har spørsmålet «blokkerer dette nettstedet AI-crawlere?» et presist svar. Det avhenger av hvilken crawler du mener, fordi AI-selskapene kjører separate crawlere for trening, for søk og for direkte besøk, og et nettsted kan behandle hver av dem ulikt. Denne guiden viser tre sjekker, fra den raskeste til den mest fullstendige.

Hvor kan et nettsted blokkere AI-crawlere

Det finnes tre lag, og en crawler må komme gjennom alle for å kunne bruke en side.

  • robots.txt: en offentlig fil med regler som veloppdragne crawlere leser før de henter noe. Den er en forespørsel, ikke en lås.
  • Serveren, CDN-en eller brannmuren: den avgjør hva som faktisk sendes tilbake. En regel i botbeskyttelsen kan svare en crawler med en 403, en 429 eller en utfordringsside selv når robots.txt tillater den.
  • Selve siden: hvis hovedteksten først vises etter at JavaScript har kjørt, får en crawler som leser den første HTML-koden en nesten tom side, selv om ingenting blokkerte den.

De fleste raske sjekker ser bare på det første laget. Det er en god start, så lenge du husker de to andre.

Hvordan leser jeg robots.txt for én AI-crawler

Åpne https://example.com/robots.txt i en nettleser og finn gruppen som gjelder for crawleren. En gruppe starter med én eller flere User-agent-linjer. Crawleren bruker gruppen som nevner tokenen dens, for eksempel GPTBot; matchingen skiller ikke mellom store og små bokstaver. Hvis ingen gruppe nevner den, bruker den gruppen User-agent: *. Finnes ingen av delene, er alt tillatt.

Innenfor gruppen vinner regelen med den lengste matchende stien, og når en Allow og en Disallow er like lange, vinner Allow. Filen nedenfor blokkerer altså GPTBot fra hele nettstedet, men slipper inn alle andre crawlere:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Se også på hvordan filen svarer. Ifølge RFC 9309 betyr en 404 at det ikke finnes regler, så alt er tillatt. En serverfeil (5xx) eller ikke noe svar i det hele tatt betyr at en crawler må behandle hele nettstedet som forbudt. En robots.txt-adresse som returnerer en HTML-side, er en vanlig feil: crawlere finner ingen gyldige regler i den.

Hvordan sjekker jeg alle AI-crawlere på en gang

Å lese filen for hånd går tregt så snart du bryr deg om mer enn én crawler. Hvert AI-selskap kjører flere, med ulike oppgaver:

  • Treningscrawlere samler inn innhold til modelltrening: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent, pluss tokenene Google-Extended og Applebot-Extended, som bare finnes i robots.txt.
  • Søkecrawlere indekserer sider slik at AI-svar kan sitere dem: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Brukercrawlere henter en side når en person ber assistenten om det: ChatGPT-User, Claude-User, Perplexity-User.

Den gratis Chrome-utvidelsen Sjekk av KI-crawlere gjør dette med ett klikk. Åpne hvilken som helst side, klikk på ikonet, så leser den nettstedets robots.txt og viser for hver av 16 crawlere om siden er tillatt og hvilken linje som avgjør det. Den viser også Content-Signal-preferanser, om nettstedet har en llms.txt, og sitemapene som er oppført i robots.txt. Den kjører i nettleseren din, krever ingen konto og leser bare nettstedet du klikker den på.

Uten Chrome gir den gratis robots.txt-sjekken på aiseewhy.com samme svar for en URL du limer inn.

Hvordan sjekker jeg om brannmuren slipper dem gjennom

robots.txt viser hva nettstedet ber om. For å se hva en crawler faktisk får, ber du om siden to ganger, én gang som nettleser og én gang med crawlerens user agent, og sammenligner statuskoden og størrelsen på svaret:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Hvis nettleseren får 200 og crawleren får 403, 429 eller 503, eller en mye mindre side, behandler en brannmur eller botbeskyttelse crawleren annerledes. Én begrensning gjelder for alle tester utenfra: de kommer fra ditt nettverk, ikke fra AI-selskapets. En brannmur som stoler på crawlere ut fra de publiserte IP-adressene deres, kan behandle den ekte crawleren annerledes, så serverloggene dine har siste ord.

Den fullstendige sjekken på aiseewhy.com henter siden som alle 16 crawlere ved siden av en ekte nettleser, navngir brannmuren eller regelen som blokkerer en crawler, og sammenligner teksten hver av dem fikk.

Hvilket resultat bør jeg sikte mot

Det avhenger av hva du vil. Vil du bli sitert i ChatGPT-søk, Claude og Perplexity, må søke- og brukercrawlerne være tillatt i robots.txt og få den ekte siden fra serveren. Vil du ikke at innholdet ditt skal brukes til trening, blokkerer du bare treningstokenene. Dette er separate valg: å blokkere GPTBot blokkerer ikke OAI-SearchBot, og å blokkere ClaudeBot blokkerer ikke Claude-SearchBot.

Mange nettsteder blander dem sammen. I rapporten vår fra november 2026 om de 1 000 mest populære domenene blokkerer 63 % av nettstedene som blokkerer en treningscrawler, også minst én AI-søkecrawler eller brukercrawler, noe som holder sidene deres ute av disse AI-svarene.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Kilder

Flere artikler

Publisert