Kan Claude se min webbplats? Så kollar du

Publicerad · Uppdaterad

Kort svar

Claude kan bara läsa din sida om din robots.txt tillåter Anthropics agenter och din server skickar dem samma HTML som en webbläsare får. Kontrollera att robots.txt inte nekar Claude-SearchBot eller Claude-User, att brandväggen inte svarar dem med en 403 eller en utmaningssida och att huvudtexten finns i den första HTML-koden. Testa sedan Claude själv: klistra in din URL i en chatt och ställ dina köpares frågor med webbsökning påslagen.

Om du frågar Claude om din produkt och den citerar andra webbplatser är den första frågan om den alls kan nå din. Den frågan går att testa. Anthropic publicerar robots.txt-token för sina agenter och IP-adresserna de kommer från, och Claude visar vilka källor den använde. Därför kan du kontrollera varje steg i tur och ordning: vad din robots.txt säger, vad din server skickar, vad dina loggar registrerar och vad Claude gör med en sida när du ger den en.

På den här sidan
  1. 5-minuterskollen, steg för steg
  2. Hur läser Claude webbplatser?
  3. Hur kollar jag i robots.txt om Claude kan komma åt min webbplats?
  4. Hur testar jag vad Claudes agenter får från min server?
  5. Hur ser jag om Claude faktiskt besöker min webbplats?
  6. Hur testar jag Claude själv med min sida?
  7. Vad gör jag om Claude kan läsa min sida men ändå inte citerar den?
  8. Hur kontrollerar AISeeWhy det här?

5-minuterskollen, steg för steg

  1. Öppna din robots.txt och se till att ingen grupp för Claude-SearchBot, Claude-User eller User-agent: * förbjuder sidan. ClaudeBot spelar bara roll för träning.
  2. Kör en gratis kontroll av sidan på AISeeWhy eller skicka en förfrågan med user agent Claude-User: den måste få status 200 och samma text som en webbläsare får.
  3. Sök i din åtkomstlogg efter Claude-SearchBot och Claude-User och titta på statuskoderna de fick.
  4. Klistra in din URL i Claude med webbsökning på, be den sammanfatta sidan, ställ sedan en fråga som dina köpare ställer och kontrollera källhänvisningarna.

Om steg 1 eller 2 misslyckas åtgärdar du åtkomsten först; avsnitten nedan visar hur. Om Claude läser sidan men inte citerar den arbetar du med innehållet.

Hur läser Claude webbplatser?

Claude når webben på två sätt. Med webbsökning söker den när en fråga kräver aktuell information, går igenom flera källor och svarar med källhänvisningar. Anthropics hjälpcenter anger att varje svar som använder webbsökning innehåller källhänvisningar. När någon ger Claude en specifik länk kan den öppna sidan direkt.

Anthropic dokumenterar tre agenter för detta, var och en med en egen robots.txt-token. Claude-SearchBot crawlar för att förbättra Claudes sökresultat, Claude-User hämtar sidor när en användares fråga behöver dem, och ClaudeBot samlar in innehåll som kan användas för träning. Vår separata guide om Anthropics tre crawlers går igenom vad var och en gör i detalj. För att bli läst och citerad är det de två första du ska kontrollera.

En ärlig begränsning: Anthropic dokumenterar inte vilket sökindex Claudes webbsökning använder eller hur den väljer källor. Företaget anger att en blockering av Claude-SearchBot kan minska din synlighet i sökresultat och att en blockering av Claude-User förhindrar hämtning för användarnas frågor. Att tillåta båda gör en källhänvisning möjlig, men garanterar ingen.

Hur kollar jag i robots.txt om Claude kan komma åt min webbplats?

Öppna https://yourdomain.com/robots.txt och leta efter grupper som namnger Claude-SearchBot eller Claude-User. Om ingen av dem namnges följer båda gruppen User-agent: *. Enligt RFC 9309 matchas token utan hänsyn till versaler och gemener, och en Disallow: / i den grupp som gäller stänger hela webbplatsen för den agenten.

Kontrollera också själva svaret. En robots.txt som returnerar ett serverfel säger åt crawlers att anta att allt är nekat. En 404 betyder att det inte finns några regler. Två kommandon visar statusen och varje grupp i filen:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic anger att reglerna måste ligga i robots.txt på toppnivån för varje underdomän, så blog.example.com behöver en egen fil. Sådana blockeringar är inte ovanliga. I vår studie av de 1 000 mest populära domänerna nekade 67 av de 518 webbplatser som hade en robots.txt (12,9 %) startsidan för Claude-SearchBot och 68 (13,1 %) för Claude-User, medan 110 (21,2 %) gjorde det för träningscrawlern ClaudeBot.

Hur testar jag vad Claudes agenter får från min server?

robots.txt är en begäran, inte åtkomstkontroll. En brandvägg, ett CDN eller ett botskydd kan svara Anthropics agenter med en 403, en 429 eller en utmaningssida medan din egen webbläsare ser sidan som vanligt. Anthropic anger att dess botar inte försöker ta sig förbi CAPTCHA, så en utmaningssida avslutar besöket.

Begär samma URL med en webbläsares user agent och med varje Anthropic-token, och jämför sedan status och storlek:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropics hjälpsida namnger token men publicerar inga fullständiga user agent-strängar, så det här är teststrängar, inte Anthropics riktiga. De visar hur regler som matchar på namnet behandlar begäran. En 403, 429 eller 503 bara för Claude-raderna, eller en 200 som är mycket mindre än webbläsarens, pekar på din brandvägg.

Ditt test kommer från din egen IP-adress. Anthropic anger att begäranden från adresser i listan på claude.com/crawling/bots.json kommer från Anthropic. Om din brandvägg släpper igenom verifierade crawlers utifrån IP kan de riktiga agenterna komma fram medan ditt test blockeras, och tvärtom. Använd listan för att tillåta Anthropic, inte för att blockera: Anthropic avråder från IP-blockering eftersom den också hindrar botarna från att läsa din robots.txt.

Hur ser jag om Claude faktiskt besöker min webbplats?

Dina åtkomstloggar ger svaret direkt. Sök efter de tre token och kontrollera sedan att källadresserna ligger inom Anthropics publicerade intervall, eftersom vem som helst kan kopiera ett user agent-namn:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Det första kommandot förutsätter det vanliga combined-loggformatet, där fält 1 är klientadressen och fält 9 statuskoden. Många 403- eller 429-koder bredvid Anthropics agenter bekräftar ett brandväggsproblem. Inga besök alls från Claude-SearchBot betyder bara att den inte har crawlat de sidorna ännu, eller att något tidigare i kedjan stoppar den.

Hur testar jag Claude själv med min sida?

Öppna en chatt och klistra in URL:en till en av dina sidor med en begäran som ”Sammanfatta den här sidan”. Anthropics hjälpcenter anger att Claude kan öppna länkar du ger den när webbsökning är påslagen. Om webbsökning är avslagen slår du på den från +-menyn; i Anthropics nyare Claude-upplevelse finns inget reglage och Claude söker när det hjälper. På planerna Team och Enterprise måste en ägare först aktivera webbsökning för organisationen. Om Claude inte kan öppna din sida men en webbläsare kan, går du tillbaka till brandväggstestet.

Ställ sedan de frågor dina köpare ställer, utan att nämna din webbplats, och öppna de citerade källorna. Anthropic anger att Claude kan använda en plats som härleds från din IP-adress för lokala resultat, så svaren kan variera mellan platser och mellan körningar.

Utvecklare kan upprepa detta via Claude API. Verktyget för webbsökning tar en allowed_domains-lista, så en begäran som är begränsad till din domän visar om Claudes sökning returnerar någon av dina sidor för en fråga:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

Tomma sökresultat betyder att Claudes sökning inte hittade något på den domänen för frågan. Anthropic tar betalt för webbsökningar via API:t utöver token. API:ts verktyg för webbhämtning rapporterar också varför en sida inte kunde läsas: url_not_allowed täcker blockeringar som robots.txt, och url_not_accessible betyder ett HTTP-fel. Svar via API:t kan skilja sig från det som Claude-apparna visar.

Vad gör jag om Claude kan läsa min sida men ändå inte citerar den?

Se först till att texten den behöver finns i den HTML som din server skickar. Anthropics API-dokumentation anger att verktyget för webbhämtning inte stöder webbplatser som renderas med JavaScript, och Anthropic säger inte att dess crawlers kör skript. Hämta din sida med curl och sök i utdata efter en mening ur huvudinnehållet. Om den saknas löser serverrendering eller förrendering problemet för Claude och för de flesta andra AI-crawlers.

Därefter är det sidan själv som avgör. Lägg svaret på sidans huvudfråga i de första meningarna, använd rubriker som matchar de frågor folk ställer, ange utgivaren och visa datum. Jämför sedan din sida med den som Claude citerar för samma fråga: den citerade sidan svarar ofta mer direkt på just den frågan.

Hur kontrollerar AISeeWhy det här?

Den kostnadsfria kontrollen i AISeeWhy hämtar din sida som Claude-SearchBot, Claude-User, ClaudeBot och de andra AI- och sökcrawlerna bredvid en riktig webbläsare, tillämpar din robots.txt på var och en, känner igen utmaningssidor och visar hur mycket text som kommer fram utan JavaScript. Kontrollen av AI-synlighet, i de betalda planerna, ställer dina frågor via Claude med webbsökning och din egen API-nyckel och visar om ditt varumärke eller din domän nämns eller citeras.

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Kan jag kontrollera gratis om Claude kan se min webbplats?

Ja. Din robots.txt, en curl-förfrågan, din serverlogg och en fråga i Claude kostar ingenting. AISeeWhys gratiskontroll testar Anthropics agenter och 13 andra crawlers för en sida om dagen utan konto.

Varför kan Claude inte öppna min webbplats när jag klistrar in länken?

De vanliga orsakerna är en brandvägg eller ett botskydd som svarar Anthropics agenter med en 403 eller en utmaningssida, en regel i robots.txt som nekar Claude-User, eller en sida vars text först dyker upp när JavaScript har körts. Testa URL:en med curl som webbläsare och med Claude-token, och leta efter blockerade begäranden i dina loggar.

Publicerar Anthropic en user agent-sträng jag kan testa med?

Anthropics hjälpsida om crawlers listar token ClaudeBot, Claude-SearchBot och Claude-User men inga fullständiga user agent-strängar. För att skilja äkta Anthropic-trafik från imitatörer jämför du käll-IP:n med listan på claude.com/crawling/bots.json.

Hur lång tid tar det innan en ändring i robots.txt når Claude?

Anthropic anger ingen tid. RFC 9309 säger att crawlers inte bör använda en cachad robots.txt i mer än 24 timmar, så vänta minst en dag innan du bedömer resultatet i dina loggar eller i Claudes svar.

Ger Claude API samma svar som Claude-appen?

Inte nödvändigtvis. Appen kan använda din ungefärliga plats och sina egna inställningar, medan en API-begäran använder de verktyg och parametrar du skickar. Se API-resultat som ett upprepbart test, inte som en kopia av det varje användare ser.

Hur vet jag om Claude nämner mitt varumärke?

Ställ dina köpares frågor till Claude med webbsökning påslagen och notera om den nämner eller citerar din webbplats och vilka konkurrenter som dyker upp i stället. Upprepa varje fråga under flera veckor, eftersom svaren varierar. AISeeWhys kontroll av AI-synlighet gör detta varje vecka via Claude API med din nyckel, bredvid upp till fyra konkurrenter.

Källor

Fler artiklar