ClaudeBot
ClaudeBot er Anthropics crawler til webindhold, der kan bruges til at træne virksomhedens generative AI-modeller. Hvis du forbyder den i robots.txt, signalerer du, at dit websites fremtidige indhold skal holdes uden for træning. Blokeringen alene stopper ikke Claude-SearchBot eller Claude-User, som bruges til søgning og live-svar.
Hvad den gør
Anthropic siger, at ClaudeBot indsamler webindhold, der kan bidrage til træning af virksomhedens modeller, for at gøre dem mere nyttige og sikre. At forbyde ClaudeBot signalerer, at dit websites fremtidige materiale skal udelukkes fra træningsdatasæt.
Anthropic understøtter også det ikke-standardiserede Crawl-delay-direktiv, så du kan bremse ClaudeBot i stedet for at blokere den. Regler i robots.txt, der nævner ClaudeBot, har forrang over Anthropics generelle signal mod AI-træning. Regler i robots.txt gælder pr. host, så tilføj dem på hvert subdomæne, du vil dække.
I vores undersøgelse fra 2026-11 blokerede 21.2% af populære websites med en robots.txt den. →
robots.txt-token
ClaudeBot
Sådan tillader du den
User-agent: ClaudeBot
Allow: /
Sådan blokerer du den
User-agent: ClaudeBot
Disallow: /
Sådan verificerer du ægte besøg
Anthropic offentliggør IP-adresserne for sine crawlere på claude.com/crawling/bots.json og siger, at en crawler, hvis IP står på listen, kommer fra Anthropic. Sammenlign kilde-IP med listen i stedet for at stole på user agent. Anthropic fraråder at bruge IP-blokering til at fravælge, fordi det også forhindrer crawleren i at læse robots.txt.
Tjek, om dit website lukker den ind →
Anthropics crawlere: ClaudeBot, Claude-SearchBot og Claude-User →