Kan Claude se nettstedet mitt? Slik sjekker du

Publisert · Oppdatert

Kort svar

Claude kan bare lese siden din hvis robots.txt tillater Anthropics agenter og serveren din sender dem den samme HTML-en som en nettleser får. Sjekk at robots.txt ikke forbyr Claude-SearchBot eller Claude-User, at brannmuren ikke svarer dem med 403 eller en utfordringsside, og at hovedteksten ligger i den første HTML-en. Test deretter Claude selv: lim inn URL-en i en chat og still spørsmålene kjøperne dine stiller, med nettsøk slått på.

Hvis du spør Claude om produktet ditt og den siterer andre nettsteder, er det første spørsmålet om den i det hele tatt når frem til ditt. Det spørsmålet har et svar du kan teste. Anthropic publiserer robots.txt-tokenene til agentene sine og IP-adressene de kommer fra, og Claude viser kildene den brukte. Dermed kan du sjekke hvert steg i rekkefølge: hva robots.txt sier, hva serveren sender, hva loggene registrerer, og hva Claude gjør med en side når du gir den en.

På denne siden
  1. 5-minutterssjekken, steg for steg
  2. Hvordan leser Claude nettsteder?
  3. Hvordan sjekker jeg om Claude har tilgang til nettstedet mitt gjennom robots.txt?
  4. Hvordan tester jeg hva Claudes agenter får fra serveren min?
  5. Hvordan ser jeg om Claude faktisk besøker nettstedet mitt?
  6. Hvordan tester jeg Claude selv med siden min?
  7. Hva om Claude kan lese siden min, men likevel ikke siterer den?
  8. Hvordan sjekker AISeeWhy dette?

5-minutterssjekken, steg for steg

  1. Åpne robots.txt-filen din og sørg for at ingen gruppe for Claude-SearchBot, Claude-User eller User-agent: * forbyr siden. ClaudeBot har bare betydning for trening.
  2. Kjør en gratis sjekk av siden på AISeeWhy, eller send én forespørsel med user agent Claude-User: den må få status 200 og den samme teksten som en nettleser får.
  3. Søk i tilgangsloggen din etter Claude-SearchBot og Claude-User og se på statuskodene de fikk.
  4. Lim inn URL-en din i Claude med nettsøk på, be den oppsummere siden, still deretter et spørsmål kjøperne dine stiller, og sjekk kildehenvisningene.

Hvis steg 1 eller 2 feiler, retter du tilgangen først; seksjonene nedenfor viser hvordan. Hvis Claude leser siden, men ikke siterer den, jobber du med innholdet.

Hvordan leser Claude nettsteder?

Claude når nettet på to måter. Med nettsøk søker den når et spørsmål krever oppdatert informasjon, går gjennom flere kilder og svarer med kildehenvisninger. Ifølge Anthropics hjelpesenter inneholder hvert svar som bruker nettsøk, kildehenvisninger. Når noen gir Claude en bestemt lenke, kan den åpne siden direkte.

Anthropic dokumenterer tre agenter for dette, hver med sitt eget robots.txt-token. Claude-SearchBot gjennomsøker for å forbedre søkeresultatene i Claude, Claude-User henter sider når et brukerspørsmål krever det, og ClaudeBot samler inn innhold som kan brukes til trening. Vår egen guide til Anthropics tre crawlere går grundig gjennom hva hver av dem gjør. For å bli lest og sitert er det de to første du må sjekke.

En ærlig begrensning: Anthropic dokumenterer ikke hvilken søkeindeks nettsøket i Claude bruker, eller hvordan det velger kilder. Selskapet sier at blokkering av Claude-SearchBot kan redusere synligheten din i søkeresultatene, og at blokkering av Claude-User hindrer henting for brukerspørsmål. Å tillate begge gjør en kildehenvisning mulig; det garanterer ikke en.

Hvordan sjekker jeg om Claude har tilgang til nettstedet mitt gjennom robots.txt?

Åpne https://yourdomain.com/robots.txt og se etter grupper som nevner Claude-SearchBot eller Claude-User. Hvis ingen av dem er nevnt, følger begge gruppen User-agent: *. Etter RFC 9309 skiller ikke tokenmatchingen mellom store og små bokstaver, og en Disallow: / i gruppen som gjelder, stenger hele nettstedet for den agenten.

Sjekk også selve svaret. En robots.txt som svarer med en serverfeil, forteller crawlere at de skal anta at alt er forbudt. 404 betyr ingen regler. To kommandoer viser statusen og hver gruppe i filen:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic sier at reglene må ligge i robots.txt på toppnivået av hvert underdomene, så blog.example.com trenger sin egen fil. Slike blokkeringer er ikke sjeldne. I vår undersøkelse av de 1 000 mest populære domenene forbød 67 av de 518 nettstedene som leverte en robots.txt (12,9 %), forsiden for Claude-SearchBot og 68 (13,1 %) for Claude-User, mens 110 (21,2 %) gjorde det for treningscrawleren ClaudeBot.

Hvordan tester jeg hva Claudes agenter får fra serveren min?

robots.txt er en forespørsel, ikke tilgangskontroll. En brannmur, et CDN eller en botbeskyttelse kan svare Anthropics agenter med 403, 429 eller en utfordringsside mens din egen nettleser ser siden helt normalt. Anthropic sier at botene ikke vil prøve å omgå CAPTCHA-er, så en utfordringsside avslutter besøket.

Be om samme URL med en nettleser-user agent og med hvert Anthropic-token, og sammenlign status og størrelse:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Hjelpesiden til Anthropic nevner tokenene, men publiserer ikke fullstendige user agent-strenger, så dette er teststrenger og ikke Anthropics ekte. De viser hvordan regler som matcher på navnet, behandler forespørselen. En 403, 429 eller 503 bare for Claude-linjene, eller en 200 som er mye mindre enn nettleserens, peker mot brannmuren din.

Testen din kommer fra din egen IP-adresse. Anthropic sier at forespørsler fra adresser i listen på claude.com/crawling/bots.json kommer fra Anthropic. Hvis brannmuren slipper inn verifiserte crawlere etter IP, kan de ekte agentene komme gjennom mens testen din blir blokkert, og det motsatte kan også skje. Bruk listen til å tillate Anthropic, ikke til å blokkere: Anthropic fraråder IP-blokkering fordi det også hindrer botene i å lese robots.txt.

Hvordan ser jeg om Claude faktisk besøker nettstedet mitt?

Tilgangsloggene gir svaret direkte. Søk etter de tre tokenene, og sjekk deretter at kildeadressene ligger innenfor områdene Anthropic publiserer, fordi hvem som helst kan kopiere et user agent-navn:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Den første kommandoen forutsetter det vanlige combined-loggformatet, der felt 1 er klientadressen og felt 9 statuskoden. Mange 403- eller 429-koder ved Anthropics agenter bekrefter et brannmurproblem. Ingen besøk i det hele tatt fra Claude-SearchBot betyr bare at den ikke har gjennomsøkt de sidene ennå, eller at noe tidligere i kjeden stopper den.

Hvordan tester jeg Claude selv med siden min?

Åpne en chat og lim inn URL-en til en av sidene dine med en forespørsel som «Oppsummer denne siden». Anthropics hjelpesenter sier at Claude kan åpne lenker du gir den når nettsøk er slått på. Hvis nettsøk er slått av, slår du det på fra +-menyen; i Anthropics nyere Claude-opplevelse finnes ingen bryter, og Claude søker når det hjelper. I Team- og Enterprise-planer må en eier først slå på nettsøk for organisasjonen. Hvis Claude ikke kan åpne siden mens en nettleser kan, går du tilbake til brannmurtesten.

Still deretter spørsmålene kjøperne dine stiller, uten å nevne nettstedet ditt, og åpne kildene som siteres. Anthropic sier at Claude kan bruke en plassering utledet fra IP-adressen din for lokale resultater, så svarene kan variere etter sted og mellom kjøringer.

Utviklere kan gjenta dette gjennom Claude API. Verktøyet for nettsøk tar en allowed_domains-liste, så en forespørsel begrenset til domenet ditt viser om søket i Claude returnerer noen av sidene dine for et spørsmål:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Tomme søkeresultater betyr at søket i Claude ikke fant noe på det domenet for spørsmålet. Anthropic tar betalt for nettsøk i API-et i tillegg til tokener. Verktøyet web fetch i API-et rapporterer også hvorfor en side ikke kunne leses: url_not_allowed dekker blokkeringer som robots.txt, og url_not_accessible betyr en HTTP-feil. Svar fra API-et kan avvike fra det Claude-appene viser.

Hva om Claude kan lese siden min, men likevel ikke siterer den?

Sørg først for at teksten den trenger, ligger i HTML-en serveren din sender. Anthropics API-dokumentasjon sier at web fetch-verktøyet ikke støtter nettsteder som rendres med JavaScript, og Anthropic sier ikke at crawlerne kjører skript. Hent siden med curl og søk etter en setning fra hovedinnholdet i resultatet. Mangler den, løser serverside-rendering eller forhåndsrendering dette for Claude og for de fleste andre AI-crawlere.

Etter det er det siden selv som avgjør. Gi svaret på sidens hovedspørsmål i de første setningene, bruk overskrifter som matcher spørsmålene folk stiller, oppgi utgiveren og vis datoer. Sammenlign deretter siden din med siden Claude siterer for det samme spørsmålet: den siterte siden svarer ofte mer direkte på akkurat det spørsmålet.

Hvordan sjekker AISeeWhy dette?

Den gratis AISeeWhy-sjekken henter siden din som Claude-SearchBot, Claude-User, ClaudeBot og de andre AI- og søkecrawlerne ved siden av en ekte nettleser, anvender robots.txt for hver av dem, gjenkjenner utfordringssider og viser hvor mye tekst som kommer frem uten JavaScript. AI-synlighet, i prøveperioden og de betalte planene, stiller spørsmålene dine gjennom Claude med nettsøk og din egen API-nøkkel og viser om merkevaren eller domenet ditt nevnes eller siteres.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Kan jeg sjekke gratis om Claude kan se nettstedet mitt?

Ja. robots.txt-filen din, en curl-forespørsel, serverloggen din og et spørsmål i Claude koster ingenting. AISeeWhys gratis sjekk tester Anthropics agenter og 13 andre crawlere for én side om dagen uten konto.

Hvorfor kan ikke Claude åpne nettstedet mitt når jeg limer inn lenken?

De vanlige årsakene er en brannmur eller botbeskyttelse som svarer Anthropics agenter med 403 eller en utfordringsside, en robots.txt-regel som forbyr Claude-User, eller en side der teksten først vises etter at JavaScript har kjørt. Test URL-en med curl som nettleser og med Claude-tokenene, og sjekk loggene for blokkerte forespørsler.

Publiserer Anthropic en user agent-streng jeg kan teste med?

Anthropics hjelpeside om crawlere lister tokenene ClaudeBot, Claude-SearchBot og Claude-User, men ingen fullstendige user agent-strenger. For å skille ekte Anthropic-trafikk fra etterligninger sammenligner du kilde-IP-en med listen på claude.com/crawling/bots.json.

Hvor lang tid tar det før en endring i robots.txt når Claude?

Anthropic oppgir ingen tid. RFC 9309 sier at crawlere ikke bør bruke en bufret robots.txt i mer enn 24 timer, så vent minst ett døgn før du vurderer resultatet i loggene eller i svarene fra Claude.

Gir Claude API de samme svarene som Claude-appen?

Ikke nødvendigvis. Appen kan bruke den omtrentlige plasseringen din og egne innstillinger, mens en API-forespørsel bruker verktøyene og parameterne du sender. Se på API-resultater som en test du kan gjenta, ikke som en kopi av det hver bruker ser.

Hvordan vet jeg om Claude nevner merkevaren min?

Still Claude, med nettsøk slått på, de spørsmålene kjøperne dine stiller, og noter om den nevner eller siterer nettstedet ditt og hvilke konkurrenter som dukker opp i stedet. Gjenta hvert spørsmål over flere uker, fordi svarene varierer. AI-synlighet i AISeeWhy gjør dette ukentlig gjennom Claude API med nøkkelen din, ved siden av opptil fire konkurrenter.

Kilder

Flere artikler