AISeeWhy
DA
Start gratis prøveperiode

Anthropics crawlere: ClaudeBot, Claude-SearchBot og Claude-User

Udgivet

Kort svar

Anthropic kører tre agenter: ClaudeBot indsamler indhold, der kan bruges til at træne dets modeller, Claude-SearchBot crawler for at forbedre Claudes søgeresultater, og Claude-User henter sider, når en Claude-brugers spørgsmål kræver det. Hver har sit eget robots.txt-token, og ifølge Anthropic overholder alle tre robots.txt. At blokere ClaudeBot alene stopper hverken søgning eller brugerhentninger.

Anthropic dokumenterer sine crawlere på én hjælpeside, og opbygningen minder om andre AI-leverandørers: én agent til træning, én til søgning og én til live-hentninger på en brugers vegne. Hvis du vil have Claude til at kunne finde og citere dine sider, er de to sidste de vigtigste.

På denne side
  1. Hvad gør ClaudeBot?
  2. Hvad gør Claude-SearchBot?
  3. Hvad gør Claude-User?
  4. Hvordan skriver jeg robots.txt-regler til Claude?
  5. Hvordan er Anthropics opsætning sammenlignet med OpenAI's og Perplexitys?
  6. Skal jeg blokere Anthropic via IP-adresse?
  7. Hvorfor kan Claude alligevel ikke læse min side?

Hvad gør ClaudeBot?

ClaudeBot indsamler webindhold, der kan bidrage til at træne Anthropics generative AI-modeller. Ifølge Anthropic signalerer et Disallow, at dit sites fremtidige indhold skal udelades fra træningsdatasæt.

Anthropic siger også, at det overholder et maskinlæsbart signal mod AI-træning baseret på et IETF-udkast, og at regler, der nævner ClaudeBot i robots.txt, har forrang for den generelle indstilling. Som med andre træningscrawlere er det et politisk valg at blokere den.

Hvad gør Claude-SearchBot?

Claude-SearchBot crawler nettet for at forbedre relevansen og nøjagtigheden af søgeresultater i Claude. Anthropic siger, at en blokering forhindrer, at dit indhold indekseres til søgning, hvilket kan mindske din synlighed og nøjagtighed i brugernes søgeresultater.

Det er den agent, du skal tillade, hvis du vil have Claudes søgefunktioner til at kende dine sider, før nogen spørger om dem. Fordi den er en søgecrawler, har den gavn af det samme som enhver søgecrawler: et sitemap oplistet i robots.txt, rene interne links og sider, der leverer deres indhold i det første svar.

Hvad gør Claude-User?

Claude-User tilgår et website, når en Claude-bruger stiller et spørgsmål, der kræver det, for eksempel når nogen deler en URL eller beder Claude slå noget op. Anthropic siger, at en blokering forhindrer hentning som svar på brugerforespørgsler, hvilket kan mindske din synlighed i brugerstyret websøgning.

Bemærk en forskel fra nogle andre leverandører. Anthropic oplyser, at dets bots overholder robots.txt-direktiver, og beskriver, hvordan man blokerer Claude-User via robots.txt. OpenAI og Perplexity siger derimod, at deres brugerstartede hentere muligvis ikke følger robots.txt.

Hvordan skriver jeg robots.txt-regler til Claude?

Hver agent har sit eget token, og en gruppe, der nævner en crawler, erstatter gruppen * for den crawler efter RFC 9309. Et almindeligt valg er at tillade søgning og brugerhentninger og fravælge træning:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic understøtter også Crawl-delay som en ikke-standard udvidelse, for eksempel Crawl-delay: 1 under User-agent: ClaudeBot, hvis du vil sænke crawlingen i stedet for at blokere den. Regler skal stå i robots.txt i øverste mappe på hver host, så tilføj dem til hvert subdomæne, du vil dække.

Hvordan er Anthropics opsætning sammenlignet med OpenAI's og Perplexitys?

De tre leverandører følger det samme mønster med forskellige navne, hvilket gør en samlet robots.txt nem at gennemskue. Hovedforskellen er, hvordan hver især behandler robots.txt ved live-hentninger efter en brugers anmodning.

Hvis du skriver én robots.txt til alle tre, så sæt søge- og brugertokens i én gruppe og træningstokens i en anden. Så er politikken læsbar, og det er tydeligt, hvilket valg du har truffet for hvert formål.

Skal jeg blokere Anthropic via IP-adresse?

Anthropic fraråder det. Dets dokumentation siger, at blokering af IP-adresser muligvis ikke virker korrekt eller varigt garanterer et fravalg, fordi det også forhindrer crawleren i at læse din robots.txt. Brug robots.txt til at angive din politik.

Anthropic offentliggør sine crawleres IP-adresser på claude.com/crawling/bots.json. Den nyttige måde at bruge listen på er det modsatte af at blokere: Lad din firewall verificere, at en forespørgsel, der udgiver sig for at være Claude-SearchBot eller Claude-User, virkelig kommer fra Anthropic, og lad den slippe igennem.

Hvorfor kan Claude alligevel ikke læse min side?

Selv med en tilladende robots.txt kan din firewall eller dit CDN svare Anthropics agenter med en 403 eller en udfordringsside. Anthropic siger, at dets bots respekterer teknologier mod omgåelse og ikke forsøger at omgå CAPTCHA'er, så en udfordringsside afslutter simpelthen besøget. Sider, hvis tekst først vises, efter JavaScript er kørt, kan også ankomme næsten tomme.

AISeeWhy henter din side som ClaudeBot, Claude-SearchBot og Claude-User ved siden af en browser og tjekker dine robots.txt-regler for hver, så du kan se, om den politik, du skrev, er den, din server håndhæver.

Ofte stillede spørgsmål

Fjerner det mit site fra Claudes svar at blokere ClaudeBot?

Ikke i sig selv. Søgeindeksering og brugerhentninger bruger Claude-SearchBot og Claude-User, som har deres egne robots.txt-tokens.

Følger Claude-User robots.txt?

Anthropic siger, at dets bots overholder robots.txt, og beskriver at blokere Claude-User dér, med den virkning at Claude ikke kan hente dine sider til brugerspørgsmål.

Løser Anthropics crawlere en CAPTCHA?

Nej. Anthropic siger, at dets bots respekterer teknologier mod omgåelse og ikke forsøger at omgå CAPTCHA'er.

Kan jeg sænke farten på ClaudeBot i stedet for at blokere den?

Ja. Anthropic understøtter Crawl-delay som en ikke-standard udvidelse, for eksempel Crawl-delay: 1 i gruppen ClaudeBot i din robots.txt.

Hvordan kan jeg verificere, at en forespørgsel virkelig kommer fra Anthropic?

Sammenlign kilde-IP'en med den liste, Anthropic offentliggør på claude.com/crawling/bots.json. En user agent alene kan kopieres af enhver.

Kilder

Flere artikler