Sådan tjekker du, om et website blokerer AI-crawlere

Indsæt en adresse og se, om den blokerer GPTBot, ClaudeBot, PerplexityBot og de andre AI-crawlere: i robots.txt, i firewallen eller begge steder.

Gratis · Ingen tilmelding · Svar på 30 sekunder

Hvilke crawlere der er blokeret

Trænings-, søge- og brugercrawlere vises hver for sig, for at blokere GPTBot blokerer ikke OAI-SearchBot, og at blokere ClaudeBot blokerer ikke Claude-SearchBot.

Linjen, der afgør det

For hver crawler læses robots.txt efter reglerne i RFC 9309: gruppen, der nævner den, eller User-agent: * som reserve, og den regel, der vinder.

Afvisninger fra firewallen

Siden hentes som 14 crawlere og som en almindelig browser. Blokeringer og udfordringssider markeres, og den firewall, der svarede, bliver navngivet.

En løsning til hvert fund

Hvert fund kommer med den ændring, du skal foretage. Det gratis tjek viser din score og det første fund; den fulde rapport koster $29, én gang.

Kort svar

Et site kan blokere AI-crawlere to steder: i robots.txt, som beder crawlere om at holde sig væk, og på serveren eller i firewallen, som faktisk afviser dem. Læs robots.txt for hver crawlers token, med User-agent: * som reserve, og hent derefter siden som crawleren og sammenlign med en browser. En browserudvidelse klarer robots.txt-delen for 16 AI-crawlere med ét klik.

Tjek det selv i 3 trin

  1. Vælg crawleren

    Hvert AI-firma kører flere forskellige. Træning: GPTBot, ClaudeBot. Søgning: OAI-SearchBot, Claude-SearchBot, PerplexityBot. På en persons anmodning: ChatGPT-User, Claude-User, Perplexity-User.

  2. Læs robots.txt for den

    Åbn https://example.com/robots.txt og find den gruppe, der nævner crawleren. Hvis ingen gruppe gør, gælder gruppen User-agent: *; hvis der heller ikke er den, er alt tilladt.

  3. Hent siden som crawleren

    Hent siden med crawlerens user agent, og sammenlign status og størrelse med en browsers. En 403, en udfordringsside eller en meget mindre 200 betyder, at firewallen afviser den.

Ofte stillede spørgsmål

Er et site uden robots.txt åbent for AI-crawlere?

Ja, hvad robots.txt angår. En 404 for robots.txt betyder, at der ingen regler er, så alle crawlere må hente alle sider. En firewall kan stadig blokere crawlere.

Viser udvidelsen blokeringer i firewallen?

Nej. Den læser robots.txt fra din browser, hvilket viser, hvad sitet beder crawlere om. Blokeringer i firewall og bot-beskyttelse kræver en forespørgsel sendt som crawleren, og det gør det fulde tjek på aiseewhy.com.

Kan jeg tjekke et site, der ikke er mit?

Ja. robots.txt er offentlig, og udvidelsen læser kun de robots.txt- og llms.txt-filer, sitet offentliggør, de samme filer, som alle crawlere læser.

Læs hele guiden

Uanset om du tjekker dit eget site efter en ændring eller kigger på en andens, før du stoler på det, har spørgsmålet »blokerer dette site AI-crawlere?« et præcist svar. Det afhænger af, hvilken crawler du mener, for AI-virksomhederne kører separate crawlere til træning, til søgning og til direkte besøg, og et site kan behandle hver af dem forskelligt. Denne guide viser tre tjek, fra det hurtigste til det mest komplette.

Hvor kan et site blokere AI-crawlere?

Der er tre lag, og en crawler skal igennem dem alle for at kunne bruge en side.

  • robots.txt: en offentlig fil med regler, som velopdragne crawlere læser, før de henter noget. Den er en anmodning, ikke en lås.
  • Serveren, CDN'et eller firewallen: den afgør, hvad der faktisk sendes tilbage. En regel i bot-beskyttelsen kan svare en crawler med en 403, en 429 eller en udfordringsside, selv om robots.txt tillader den.
  • Selve siden: hvis hovedteksten først vises, når JavaScript har kørt, får en crawler, der læser den oprindelige HTML, en næsten tom side, selv om intet blokerede den.

De fleste hurtige tjek ser kun på det første lag. Det er en god start, så længe du husker de to andre.

Hvordan læser jeg robots.txt for én AI-crawler?

Åbn https://example.com/robots.txt i en browser, og find den gruppe, der gælder for crawleren. En gruppe starter med en eller flere User-agent-linjer. Crawleren bruger den gruppe, der nævner dens token, for eksempel GPTBot; der skelnes ikke mellem store og små bogstaver. Hvis ingen gruppe nævner den, bruger den gruppen User-agent: *. Er der ingen af delene, er alt tilladt.

Inden for gruppen vinder reglen med den længste matchende sti, og når en Allow og en Disallow er lige lange, vinder Allow. Filen nedenfor blokerer altså GPTBot fra hele sitet, men lukker alle andre crawlere ind:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Se også på, hvordan filen svarer. Efter RFC 9309 betyder en 404, at der ingen regler er, så alt er tilladt. En serverfejl (5xx) eller slet intet svar betyder, at en crawler skal behandle hele sitet som forbudt. En robots.txt-adresse, der returnerer en HTML-side, er en almindelig fejl: crawlere finder ingen gyldige regler i den.

Hvordan tjekker jeg alle AI-crawlere på én gang?

Det går langsomt at læse filen i hånden, så snart du interesserer dig for mere end én crawler. Hver AI-virksomhed kører flere, med forskellige opgaver:

  • Træningscrawlere indsamler indhold til modeltræning: GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent samt tokens Google-Extended og Applebot-Extended, som kun findes i robots.txt.
  • Søgecrawlere indekserer sider, så AI-svar kan citere dem: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  • Brugercrawlere henter en side, når en person beder assistenten om det: ChatGPT-User, Claude-User, Perplexity-User.

Den gratis Chrome-udvidelse AI-crawlertjek gør det med ét klik. Åbn en vilkårlig side, klik på ikonet, så læser den sitets robots.txt og viser for hver af 16 crawlere, om siden er tilladt, og hvilken linje der afgør det. Den viser også Content-Signal-præferencer, om sitet har en llms.txt, og de sitemaps, der står i robots.txt. Den kører i din browser, kræver ingen konto og læser kun det site, du klikker på den.

Uden Chrome giver den gratis robots.txt-tjekker på aiseewhy.com samme svar for en URL, du indsætter.

Hvordan tjekker jeg, om firewallen lukker dem igennem?

robots.txt viser, hvad sitet beder om. For at se, hvad en crawler faktisk får, henter du siden to gange, én gang som browser og én gang med crawlerens user agent, og sammenligner statuskoden og svarets størrelse:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Hvis browseren får 200, og crawleren får 403, 429 eller 503 eller en meget mindre side, behandler en firewall eller bot-beskyttelse crawleren anderledes. Én begrænsning gælder for enhver test udefra: den kommer fra dit netværk, ikke fra AI-virksomhedens. En firewall, der stoler på crawlere ud fra deres offentliggjorte IP-adresser, kan behandle den rigtige crawler anderledes, så dine serverlogs har det sidste ord.

Det fulde tjek på aiseewhy.com henter siden som alle 16 crawlere side om side med en rigtig browser, navngiver den firewall eller regel, der blokerer en crawler, og sammenligner den tekst, hver af dem fik.

Hvilket resultat skal jeg gå efter?

Det afhænger af, hvad du vil. Vil du citeres i ChatGPT-søgning, Claude og Perplexity, skal søge- og brugercrawlerne være tilladt i robots.txt og få den rigtige side fra serveren. Vil du ikke have dit indhold brugt til træning, så bloker kun træningstokens. Det er separate valg: at blokere GPTBot blokerer ikke OAI-SearchBot, og at blokere ClaudeBot blokerer ikke Claude-SearchBot.

Mange sites blander dem sammen. I vores rapport fra november 2026 om de 1.000 mest populære domæner blokerer 63 % af de sites, der blokerer en træningscrawler, også mindst én AI-søgecrawler eller brugercrawler, hvilket holder deres sider ude af de AI-svar.

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Kilder

Flere artikler

Udgivet