Kan Claude se mit website? Sådan tjekker du det
Claude kan kun læse din side, hvis din robots.txt tillader Anthropics agenter, og din server sender dem den samme HTML, som en browser får. Tjek, at robots.txt ikke forbyder Claude-SearchBot eller Claude-User, at din firewall ikke svarer dem med en 403 eller en udfordringsside, og at hovedteksten står i den oprindelige HTML. Test derefter Claude selv: indsæt din URL i en chat, og stil dine kunders spørgsmål med websøgning slået til.
Hvis du spørger Claude om dit produkt, og den citerer andre websites, er det første spørgsmål, om den overhovedet kan nå dit. Det har et svar, du kan teste. Anthropic offentliggør robots.txt-tokens for sine agenter og de IP-adresser, de kommer fra, og Claude viser de kilder, den har brugt. Så du kan tjekke hvert trin i rækkefølge: hvad din robots.txt siger, hvad din server sender, hvad dine logs registrerer, og hvad Claude gør med en side, når du giver den en.
På denne side
- 5-minutters tjekket, trin for trin
- Hvordan læser Claude websites?
- Hvordan tjekker jeg i robots.txt, om Claude har adgang til mit website?
- Hvordan tester jeg, hvad Claudes agenter får fra min server?
- Hvordan kan jeg se, om Claude rent faktisk besøger mit site?
- Hvordan tester jeg Claude selv med min side?
- Hvad hvis Claude kan læse min side, men stadig ikke citerer den?
- Hvordan tjekker AISeeWhy det her?
5-minutters tjekket, trin for trin
- Åbn din robots.txt, og sørg for, at ingen gruppe for
Claude-SearchBot,Claude-UserellerUser-agent: *forbyder siden.ClaudeBothar kun betydning for træning. - Kør et gratis tjek af siden på AISeeWhy, eller send én anmodning med user agent
Claude-User: den skal få status 200 og den samme tekst som en browser. - Søg i din adgangslog efter
Claude-SearchBotogClaude-User, og se på de statuskoder, de fik. - Indsæt din URL i Claude med websøgning slået til, bed den om at opsummere siden, stil så et spørgsmål, dine kunder stiller, og tjek kildehenvisningerne.
Fejler trin 1 eller 2, så ret adgangen først; afsnittene nedenfor viser hvordan. Læser Claude siden, men citerer den ikke, så arbejd med indholdet.
Hvordan læser Claude websites?
Claude kommer ud på nettet på to måder. Med websøgning søger den, når et spørgsmål kræver aktuelle oplysninger, gennemgår flere kilder og svarer med kildehenvisninger. Ifølge Anthropics hjælpecenter indeholder hvert svar, der bruger websøgning, kildehenvisninger. Når nogen giver Claude et bestemt link, kan den åbne siden direkte.
Anthropic dokumenterer tre agenter til dette, hver med sit eget robots.txt-token. Claude-SearchBot crawler for at forbedre Claudes søgeresultater, Claude-User henter sider, når en brugers spørgsmål kræver dem, og ClaudeBot indsamler indhold, der kan bruges til træning. Vores separate guide til Anthropics tre crawlere beskriver i detaljer, hvad hver af dem gør. For at blive læst og citeret er det de to første, du skal tjekke.
En ærlig begrænsning: Anthropic dokumenterer ikke, hvilket søgeindeks Claudes websøgning bruger, eller hvordan den vælger kilder. Ifølge Anthropic kan en blokering af Claude-SearchBot mindske din synlighed i søgeresultater, og en blokering af Claude-User forhindrer hentning til brugernes spørgsmål. Når begge er tilladt, er en citering mulig, men ikke garanteret.
Hvordan tjekker jeg i robots.txt, om Claude har adgang til mit website?
Åbn https://yourdomain.com/robots.txt, og kig efter grupper, der nævner Claude-SearchBot eller Claude-User. Hvis ingen af dem nævnes, følger begge gruppen User-agent: *. Ifølge RFC 9309 skelnes der ikke mellem store og små bogstaver i tokens, og en Disallow: / i den gruppe, der gælder, lukker hele sitet for den agent.
Tjek også selve svaret. En robots.txt, der returnerer en serverfejl, fortæller crawlere, at de skal gå ud fra, at alt er forbudt. En 404 betyder ingen regler. To kommandoer viser status og hver gruppe i filen:
# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt
# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):" Ifølge Anthropic skal reglerne stå i robots.txt på øverste niveau af hvert subdomæne, så blog.example.com skal have sin egen fil. Den slags blokeringer er ikke sjældne. I vores undersøgelse af de 1.000 mest populære domæner forbød 67 af de 518 sites, der havde en robots.txt (12,9 %), forsiden for Claude-SearchBot og 68 (13,1 %) for Claude-User, mens 110 (21,2 %) gjorde det for træningscrawleren ClaudeBot.
Hvordan tester jeg, hvad Claudes agenter får fra min server?
robots.txt er en anmodning, ikke adgangskontrol. En firewall, et CDN eller en botbeskyttelse kan svare Anthropics agenter med en 403, en 429 eller en udfordringsside, mens din egen browser ser siden normalt. Ifølge Anthropic forsøger dens bots ikke at omgå CAPTCHA'er, så en udfordringsside afslutter besøget.
Hent den samme URL med en browser-user agent og med hvert Anthropic-token, og sammenlign status og størrelse:
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; Claude-User)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Anthropics hjælpeside nævner tokens, men offentliggør ikke fulde user agent-strenge, så det her er teststrenge, ikke Anthropics rigtige. De viser, hvordan regler, der reagerer på navnet, behandler anmodningen. En 403, 429 eller 503 kun i Claude-linjerne, eller en 200, der er meget mindre end browserens, peger på din firewall.
Din test kommer fra din egen IP-adresse. Ifølge Anthropic kommer anmodninger fra adresser på listen på claude.com/crawling/bots.json fra Anthropic. Hvis din firewall tillader verificerede crawlere ud fra IP, kan de rigtige agenter slippe igennem, mens din test bliver blokeret, og det omvendte kan også ske. Brug listen til at tillade Anthropic, ikke til at blokere den: Anthropic fraråder IP-blokering, fordi det også forhindrer dens bots i at læse din robots.txt.
Hvordan kan jeg se, om Claude rent faktisk besøger mit site?
Dine adgangslogs svarer direkte på det. Søg i dem efter de tre tokens, og tjek derefter, at kildeadresserne ligger inden for Anthropics offentliggjorte intervaller, for alle kan kopiere navnet på en user agent:
# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
| awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20
# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Den første kommando forudsætter det udbredte combined log-format, hvor felt 1 er klientadressen og felt 9 statuskoden. Mange 403- eller 429-koder ud for Anthropics agenter bekræfter et firewallproblem. Ingen besøg overhovedet fra Claude-SearchBot betyder kun, at den ikke har crawlet de sider endnu, eller at noget stopper den tidligere.
Hvordan tester jeg Claude selv med min side?
Åbn en chat, og indsæt URL'en til en af dine sider med en anmodning som „Opsummer denne side“. Ifølge Anthropics hjælpecenter kan Claude åbne links, du giver den, når websøgning er slået til. Er websøgning slået fra, så slå den til i menuen +; i Anthropics nyere Claude-oplevelse er der ingen kontakt, og Claude søger, når det hjælper. På Team- og Enterprise-planer skal en ejer først aktivere websøgning for organisationen. Hvis Claude ikke kan åbne din side, men en browser kan, så gå tilbage til firewalltesten.
Stil derefter de spørgsmål, dine kunder stiller, uden at nævne dit site, og åbn de citerede kilder. Ifølge Anthropic kan Claude bruge en placering udledt af din IP-adresse til lokale resultater, så svarene kan variere fra sted til sted og fra gang til gang.
Udviklere kan gentage det via Claude API. Websøgningsværktøjet tager en allowed_domains-liste, så en anmodning begrænset til dit domæne viser, om Claudes søgning returnerer nogen af dine sider for et spørgsmål:
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"max_tokens": 1024,
"messages": [{"role": "user", "content": "What does example.com offer?"}],
"tools": [{
"type": "web_search_20250305",
"name": "web_search",
"max_uses": 3,
"allowed_domains": ["example.com"]
}]
}' Tomme søgeresultater betyder, at Claudes søgning ikke fandt noget på det domæne for spørgsmålet. Anthropic tager betaling for websøgninger via API'et oven i tokens. API'ets web fetch-værktøj rapporterer også, hvorfor en side ikke kunne læses: url_not_allowed dækker blokeringer som robots.txt, og url_not_accessible betyder en HTTP-fejl. API-svar kan afvige fra det, Claude-appene viser.
Hvad hvis Claude kan læse min side, men stadig ikke citerer den?
Sørg først for, at den tekst, den har brug for, står i den HTML, din server sender. Ifølge Anthropics API-dokumentation understøtter dens web fetch-værktøj ikke websites, der renderes med JavaScript, og Anthropic siger ikke, at dens crawlere kører scripts. Hent din side med curl, og søg i outputtet efter en sætning fra dit hovedindhold. Mangler den, løser serverside-rendering eller prerendering det for Claude og for de fleste andre AI-crawlere.
Derefter er det siden selv, der afgør det. Svar på sidens hovedspørgsmål i de første sætninger, brug overskrifter, der matcher de spørgsmål, folk stiller, nævn udgiveren, og vis datoer. Sammenlign så din side med den, Claude citerer for det samme spørgsmål: den citerede side svarer ofte mere direkte på netop det spørgsmål.
Hvordan tjekker AISeeWhy det her?
Det gratis AISeeWhy-tjek henter din side som Claude-SearchBot, Claude-User, ClaudeBot og de andre AI- og søgecrawlere ved siden af en rigtig browser, anvender din robots.txt på hver af dem, genkender udfordringssider og viser, hvor meget tekst der kommer frem uden JavaScript. AI-synlighedstjekket i de betalte planer stiller dine spørgsmål gennem Claude med websøgning på din egen API-nøgle og viser, om dit brand eller domæne bliver nævnt eller citeret.
Næste skridt
- robots.txt-tester og -tjek til AI-crawlere
- IP-tjek af AI-crawlere
- Se et eksempel på en fuld rapport
- Overvågning af AI-crawlere
- Planer og priser
Crawlere i denne artikel
Ofte stillede spørgsmål
Kan jeg gratis tjekke, om Claude kan se mit site?
Ja. Din robots.txt, en curl-anmodning, din serverlog og et spørgsmål i Claude koster intet. AISeeWhys gratis tjek tester Anthropics agenter og 13 andre crawlere for én side om dagen uden konto.
Hvorfor kan Claude ikke åbne mit website, når jeg indsætter linket?
De sædvanlige årsager er en firewall eller botbeskyttelse, der svarer Anthropics agenter med en 403 eller en udfordringsside, en regel i robots.txt, der forbyder Claude-User, eller en side, hvis tekst først vises, efter at JavaScript har kørt. Test URL'en med curl som browser og med Claude-tokens, og tjek dine logs for blokerede anmodninger.
Offentliggør Anthropic en user agent-streng, jeg kan teste med?
Anthropics hjælpeside om crawlere nævner tokens ClaudeBot, Claude-SearchBot og Claude-User, men ingen fulde user agent-strenge. For at skelne rigtig Anthropic-trafik fra efterligninger skal du sammenligne kilde-IP'en med listen på claude.com/crawling/bots.json.
Hvor lang tid går der, før en robots.txt-ændring når Claude?
Anthropic angiver ingen tid. Ifølge RFC 9309 bør crawlere ikke bruge en cachet robots.txt i mere end 24 timer, så giv det mindst en dag, før du vurderer resultatet i dine logs eller i Claudes svar.
Giver Claude API de samme svar som Claude-appen?
Ikke nødvendigvis. Appen kan bruge din omtrentlige placering og sine egne indstillinger, mens en API-anmodning bruger de værktøjer og parametre, du sender. Betragt API-resultater som en test, der kan gentages, ikke som en kopi af det, hver bruger ser.
Hvordan finder jeg ud af, om Claude nævner mit brand?
Stil Claude dine kunders spørgsmål med websøgning slået til, og notér, om den nævner eller citerer dit site, og hvilke konkurrenter der dukker op i stedet. Gentag hvert spørgsmål over flere uger, fordi svarene varierer. AI-synlighedstjekket i AISeeWhy gør det hver uge via Claude API med din nøgle, ved siden af op til fire konkurrenter.
Kilder
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Anthropic: Enable and use web search
- Claude Platform Docs: Web search tool
- Claude Platform Docs: Web fetch tool
- Anthropic: liste over crawlernes IP-adresser (bots.json)
- RFC 9309: Robots Exclusion Protocol
- AISeeWhy: rapport om AI-crawleres adgang, 2026-11