ClaudeBot
ClaudeBot er Anthropics crawler for webinnhold som kan brukes til å trene selskapets generative AI-modeller. Hvis du forbyr den i robots.txt, signaliserer du at nettstedets fremtidige innhold bør holdes utenfor trening. Å blokkere den alene stopper ikke Claude-SearchBot eller Claude-User, som tjener søk og live-svar.
Hva den gjør
Anthropic sier at ClaudeBot samler inn webinnhold som kan bidra til å trene modellene, for å gjøre dem mer nyttige og sikre. Hvis du forbyr ClaudeBot, signaliserer du at nettstedets fremtidige materiale bør holdes utenfor treningsdata.
Anthropic støtter også det ikke-standardiserte Crawl-delay-direktivet, så du kan bremse ClaudeBot i stedet for å blokkere den. Regler som nevner ClaudeBot i robots.txt, har forrang over Anthropics generelle signal om ingen AI-trening. Robots.txt-regler gjelder per vert, så legg dem til på hvert underdomene du vil dekke.
I undersøkelsen vår fra 2026-11 blokkerte 21.2% av de populære nettstedene med robots.txt den. →
robots.txt-token
ClaudeBot
Slik tillater du den
User-agent: ClaudeBot
Allow: /Slik blokkerer du den
User-agent: ClaudeBot
Disallow: /Slik verifiserer du ekte besøk
Anthropic publiserer IP-adressene til crawlerne sine på claude.com/crawling/bots.json og sier at en crawler med en IP-adresse på listen kommer fra Anthropic. Sammenlign kilde-IP-en med listen i stedet for å stole på user agent. Anthropic fraråder IP-blokkering for å velge bort, fordi den også hindrer crawleren i å lese robots.txt.
Sjekk om nettstedet ditt slipper den inn →
Anthropics crawlere: ClaudeBot, Claude-SearchBot og Claude-User →