AISeeWhy
SV
Starta gratis prov

Anthropics crawlers: ClaudeBot, Claude-SearchBot och Claude-User

Publicerad

Kort svar

Anthropic kör tre agenter: ClaudeBot samlar in innehåll som kan användas för att träna företagets modeller, Claude-SearchBot genomsöker för att förbättra Claudes sökresultat och Claude-User hämtar sidor när en Claude-användares fråga kräver det. Var och en har sin egen robots.txt-token, och Anthropic säger att alla tre följer robots.txt. Att blockera bara ClaudeBot stoppar inte sök eller användarhämtningar.

Anthropic dokumenterar sina crawlers på en enda hjälpsida, och uppbyggnaden speglar andra AI-leverantörer: en agent för träning, en för sök och en för live-hämtning på en användares uppdrag. Om du vill att Claude ska kunna hitta och citera dina sidor är de två sista viktigast.

På den här sidan
  1. Vad gör ClaudeBot
  2. Vad gör Claude-SearchBot
  3. Vad gör Claude-User
  4. Hur skriver jag robots.txt-regler för Claude
  5. Hur står sig Anthropics upplägg mot OpenAI och Perplexity
  6. Ska jag blockera Anthropic med IP-adress
  7. Varför skulle Claude ändå inte kunna läsa min sida

Vad gör ClaudeBot

ClaudeBot samlar in webbinnehåll som kan bidra till träning av Anthropics generativa AI-modeller. Enligt Anthropic signalerar ett nekande att din webbplats framtida innehåll ska uteslutas från träningsdataset.

Anthropic säger också att de respekterar en maskinläsbar signal mot AI-träning som bygger på ett IETF-utkast, och att regler som nämner ClaudeBot i robots.txt har företräde framför den generella inställningen. Som med andra träningscrawlers är det ett policyval att blockera den.

Vad gör Claude-SearchBot

Claude-SearchBot genomsöker webben för att förbättra relevansen och träffsäkerheten i sökresultaten i Claude. Anthropic säger att en blockering förhindrar att ditt innehåll indexeras för sök, vilket kan minska din synlighet och träffsäkerhet i användarnas sökresultat.

Det är den här agenten du ska tillåta om du vill att Claudes sökfunktioner ska känna till dina sidor innan någon frågar om dem. Eftersom det är en sökcrawler gynnas den av samma saker som alla sökcrawlers: en sitemap som anges i robots.txt, rena interna länkar och sidor som returnerar sitt innehåll i det första svaret.

Vad gör Claude-User

Claude-User besöker en webbplats när en Claude-användare ställer en fråga som kräver det, till exempel när någon delar en URL eller ber Claude slå upp något. Anthropic säger att en blockering förhindrar hämtning som svar på användarfrågor, vilket kan minska din synlighet i användarstyrd webbsökning.

Notera en skillnad mot en del andra leverantörer. Anthropic anger att deras bottar följer direktiven i robots.txt, och beskriver hur man blockerar Claude-User via robots.txt. OpenAI och Perplexity säger däremot att deras användarstyrda hämtare kanske inte följer robots.txt.

Hur skriver jag robots.txt-regler för Claude

Varje agent har en egen token, och en grupp som nämner en crawler ersätter gruppen * för den crawlern enligt RFC 9309. Ett vanligt val är att tillåta sök och användarhämtningar och välja bort träning:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic stöder också Crawl-delay som en icke-standardiserad utökning, till exempel Crawl-delay: 1 under User-agent: ClaudeBot, om du vill bromsa genomsökningen i stället för att blockera den. Reglerna måste ligga i robots.txt i toppkatalogen för varje värd, så lägg till dem på varje underdomän som ska omfattas.

Hur står sig Anthropics upplägg mot OpenAI och Perplexity

De tre leverantörerna följer samma mönster med olika namn, vilket gör det lätt att resonera kring en gemensam robots.txt. Den största skillnaden är hur var och en behandlar robots.txt för live-hämtningar på en användares begäran.

Skriver du en robots.txt för alla tre, lägg sök- och användartoken i en grupp och träningstoken i en annan. Då förblir policyn läsbar och det syns tydligt vilket val du gjort för varje ändamål.

Ska jag blockera Anthropic med IP-adress

Anthropic avråder från det. Deras dokumentation säger att IP-blockering kanske inte fungerar korrekt eller varaktigt garanterar ett undantag, eftersom det också hindrar crawlern från att läsa din robots.txt. Använd robots.txt för att ange din policy.

Anthropic publicerar sina crawlers IP-adresser på claude.com/crawling/bots.json. Det användbara sättet att använda listan är tvärtom mot att blockera: låt brandväggen verifiera att en begäran som utger sig för att vara Claude-SearchBot eller Claude-User verkligen kommer från Anthropic, och släpp igenom den.

Varför skulle Claude ändå inte kunna läsa min sida

Även med en tillåtande robots.txt kan din brandvägg eller CDN svara Anthropics agenter med en 403 eller en utmaningssida. Anthropic säger att deras bottar respekterar tekniker mot kringgående och inte försöker runda CAPTCHA, så en utmaningssida avslutar helt enkelt besöket. Sidor vars text först visas när JavaScript körs kan också komma fram nästan tomma.

AISeeWhy hämtar din sida som ClaudeBot, Claude-SearchBot och Claude-User vid sidan av en webbläsare och kontrollerar dina robots.txt-regler för var och en, så att du ser om den policy du skrev är den som din server tillämpar.

Vanliga frågor

Tar jag bort min webbplats från Claudes svar genom att blockera ClaudeBot?

Inte i sig. Sökindexering och användarbegärda hämtningar använder Claude-SearchBot och Claude-User, som har egna robots.txt-token.

Följer Claude-User robots.txt?

Anthropic säger att deras bottar följer robots.txt och beskriver hur man blockerar Claude-User där, med den effekten att Claude inte kan hämta dina sidor för användarfrågor.

Löser Anthropics crawlers en CAPTCHA?

Nej. Anthropic säger att deras bottar respekterar tekniker mot kringgående och inte försöker runda CAPTCHA.

Kan jag bromsa ClaudeBot i stället för att blockera den?

Ja. Anthropic stöder Crawl-delay som en icke-standardiserad utökning, till exempel Crawl-delay: 1 i gruppen ClaudeBot i din robots.txt.

Hur kan jag verifiera att en begäran verkligen kommer från Anthropic?

Jämför käll-IP-adressen med listan som Anthropic publicerar på claude.com/crawling/bots.json. En user agent ensam kan vem som helst kopiera.

Källor

Fler artiklar