AISeeWhy
NB
Start gratis prøveperiode

Anthropics crawlere: ClaudeBot, Claude-SearchBot og Claude-User

Publisert

Kort svar

Anthropic kjører tre agenter: ClaudeBot samler inn innhold som kan brukes til å trene selskapets modeller, Claude-SearchBot crawler for å forbedre Claudes søkeresultater, og Claude-User henter sider når spørsmålet til en Claude-bruker krever det. Hver har sin egen robots.txt-token, og Anthropic sier at alle tre følger robots.txt. Å blokkere bare ClaudeBot stopper ikke søk eller brukerhentinger.

Anthropic dokumenterer crawlerne sine på én enkelt hjelpeside, og oppbyggingen speiler andre AI-leverandører: én agent for trening, én for søk og én for live-henting på vegne av en bruker. Hvis du vil at Claude skal kunne finne og sitere sidene dine, er de to siste viktigst.

På denne siden
  1. Hva gjør ClaudeBot
  2. Hva gjør Claude-SearchBot
  3. Hva gjør Claude-User
  4. Hvordan skriver jeg robots.txt-regler for Claude
  5. Hvordan står Anthropics oppsett seg mot OpenAI og Perplexity
  6. Bør jeg blokkere Anthropic med IP-adresse
  7. Hvorfor skulle Claude likevel ikke kunne lese siden min

Hva gjør ClaudeBot

ClaudeBot samler inn nettinnhold som kan bidra til å trene Anthropics generative AI-modeller. Ifølge Anthropic signaliserer det å nekte den, at fremtidig innhold på nettstedet ditt skal utelukkes fra treningsdatasett.

Anthropic sier også at de respekterer et maskinlesbart signal mot AI-trening basert på et IETF-utkast, og at regler som nevner ClaudeBot i robots.txt, har forrang over denne generelle innstillingen. Som med andre treningscrawlere er det et policyvalg å blokkere den.

Hva gjør Claude-SearchBot

Claude-SearchBot crawler nettet for å forbedre relevansen og treffsikkerheten i søkeresultatene i Claude. Anthropic sier at en blokkering hindrer at innholdet ditt indekseres for søk, noe som kan redusere synligheten og treffsikkerheten i brukernes søkeresultater.

Dette er agenten du bør tillate hvis du vil at Claudes søkefunksjoner skal kjenne til sidene dine før noen spør om dem. Fordi den er en søkecrawler, har den nytte av de samme tingene som alle søkecrawlere: et sitemap oppgitt i robots.txt, rene interne lenker og sider som returnerer innholdet i det første svaret.

Hva gjør Claude-User

Claude-User åpner et nettsted når en Claude-bruker stiller et spørsmål som krever det, for eksempel når noen deler en URL eller ber Claude slå opp noe. Anthropic sier at en blokkering hindrer henting som svar på brukerspørsmål, noe som kan redusere synligheten din i brukerstyrt nettsøk.

Merk en forskjell fra enkelte andre leverandører. Anthropic oppgir at botene deres følger direktivene i robots.txt, og beskriver hvordan man blokkerer Claude-User via robots.txt. OpenAI og Perplexity sier derimot at de brukerstyrte henterne deres kanskje ikke følger robots.txt.

Hvordan skriver jeg robots.txt-regler for Claude

Hver agent har sin egen token, og en gruppe som nevner en crawler, erstatter gruppen * for den crawleren etter RFC 9309. Et vanlig valg er å tillate søk og brukerhentinger og velge bort trening:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic støtter også Crawl-delay som en ikke-standard utvidelse, for eksempel Crawl-delay: 1 under User-agent: ClaudeBot, hvis du vil bremse crawlingen i stedet for å blokkere den. Reglene må ligge i robots.txt i toppkatalogen til hver vert, så legg dem til på hvert underdomene som skal dekkes.

Hvordan står Anthropics oppsett seg mot OpenAI og Perplexity

De tre leverandørene følger samme mønster med ulike navn, noe som gjør det enkelt å resonnere om en felles robots.txt. Hovedforskjellen er hvordan hver behandler robots.txt for live-hentinger på en brukers forespørsel.

Hvis du skriver én robots.txt for alle tre, legger du søke- og brukertokenene i én gruppe og treningstokenene i en annen. Da forblir policyen lesbar, og det er tydelig hvilket valg du har gjort for hvert formål.

Bør jeg blokkere Anthropic med IP-adresse

Anthropic fraråder det. Dokumentasjonen deres sier at IP-blokkering kanskje ikke fungerer riktig eller varig garanterer et fravalg, fordi det også hindrer crawleren i å lese robots.txt. Bruk robots.txt til å oppgi policyen din.

Anthropic publiserer IP-adressene til crawlerne sine på claude.com/crawling/bots.json. Den nyttige måten å bruke listen på er det motsatte av å blokkere: la brannmuren verifisere at en forespørsel som utgir seg for å være Claude-SearchBot eller Claude-User, virkelig kommer fra Anthropic, og slipp den gjennom.

Hvorfor skulle Claude likevel ikke kunne lese siden min

Selv med en tillatende robots.txt kan brannmuren eller CDN-en din svare Anthropics agenter med en 403 eller en utfordringsside. Anthropic sier at botene deres respekterer teknologi mot omgåelse og ikke vil forsøke å komme rundt CAPTCHA-er, så en utfordringsside avslutter rett og slett besøket. Sider der teksten først vises etter at JavaScript har kjørt, kan også komme fram nesten tomme.

AISeeWhy henter siden din som ClaudeBot, Claude-SearchBot og Claude-User ved siden av en nettleser og sjekker robots.txt-reglene dine for hver, slik at du ser om policyen du skrev, er den serveren din håndhever.

Vanlige spørsmål

Fjerner jeg nettstedet mitt fra Claudes svar ved å blokkere ClaudeBot?

Ikke i seg selv. Søkeindeksering og brukerstyrte hentinger bruker Claude-SearchBot og Claude-User, som har egne robots.txt-tokens.

Følger Claude-User robots.txt?

Anthropic sier at botene deres følger robots.txt, og beskriver hvordan man blokkerer Claude-User der, med den virkningen at Claude ikke kan hente sidene dine til brukerspørsmål.

Løser Anthropics crawlere en CAPTCHA?

Nei. Anthropic sier at botene deres respekterer teknologi mot omgåelse og ikke vil forsøke å komme rundt CAPTCHA-er.

Kan jeg bremse ClaudeBot i stedet for å blokkere den?

Ja. Anthropic støtter Crawl-delay som en ikke-standard utvidelse, for eksempel Crawl-delay: 1 i gruppen ClaudeBot i robots.txt.

Hvordan kan jeg verifisere at en forespørsel virkelig kommer fra Anthropic?

Sammenlign kilde-IP-en med listen Anthropic publiserer på claude.com/crawling/bots.json. En user agent alene kan hvem som helst kopiere.

Kilder

Flere artikler