ClaudeBot
ClaudeBot is de crawler van Anthropic voor webcontent die kan worden gebruikt om de generatieve AI-modellen van het bedrijf te trainen. Als je hem in robots.txt verbiedt, geef je aan dat toekomstige content van je site buiten de training moet blijven. Alleen ClaudeBot blokkeren stopt Claude-SearchBot en Claude-User niet, die zoeken en live antwoorden bedienen.
Wat de crawler doet
Anthropic zegt dat ClaudeBot webcontent verzamelt die kan bijdragen aan de training van zijn modellen, om ze nuttiger en veiliger te maken. ClaudeBot verbieden geeft aan dat toekomstig materiaal van je site buiten de trainingsdatasets moet blijven.
Anthropic ondersteunt ook de niet-standaard Crawl-delay-richtlijn, zodat je ClaudeBot kunt afremmen in plaats van te blokkeren. Regels die ClaudeBot in robots.txt noemen, gaan boven het algemene signaal van Anthropic dat er geen AI-training mag plaatsvinden. Robots.txt-regels gelden per host, dus voeg ze toe aan elk subdomein dat je wilt dekken.
In ons onderzoek van 2026-11 blokkeerde 21.2% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
ClaudeBot
Zo sta je hem toe
User-agent: ClaudeBot
Allow: /Zo blokkeer je hem
User-agent: ClaudeBot
Disallow: /Zo verifieer je echte bezoeken
Anthropic publiceert de IP-adressen van zijn crawlers op claude.com/crawling/bots.json en zegt dat een crawler waarvan het IP op die lijst staat van Anthropic komt. Vergelijk het bron-IP met de lijst in plaats van de user agent te vertrouwen. Anthropic raadt af om IP-blokkering te gebruiken om je uit te sluiten, omdat de crawler dan ook robots.txt niet meer kan lezen.
Controleer of je site hem toelaat →
De crawlers van Anthropic: ClaudeBot, Claude-SearchBot en Claude-User →