Claude-User
Claude-User bezoekt een website wanneer een Claude-gebruiker een vraag stelt die dat nodig heeft, zoals het lezen van een gedeelde link. Anthropic zegt dat zijn bots robots.txt respecteren en dat het blokkeren van Claude-User voorkomt dat je content wordt opgehaald als antwoord op vragen van gebruikers, wat je zichtbaarheid in door gebruikers gestuurd webzoeken kan verminderen.
Wat de crawler doet
Anthropic gebruikt Claude-User om Claude-gebruikers te ondersteunen: als iemand Claude een vraag stelt, kan het een website openen om te antwoorden. Dit zijn losse opvragingen namens een gebruiker, geen algemene crawl.
Anders dan OpenAI en Perplexity, die zeggen dat hun door gebruikers gestarte fetchers robots.txt mogelijk niet volgen, stelt Anthropic dat zijn bots robots.txt-richtlijnen respecteren, en het beschrijft hoe je Claude-User daar blokkeert. Daarmee kan Claude je pagina's niet ophalen wanneer gebruikers er vragen over stellen.
In ons onderzoek van 2026-11 blokkeerde 13.1% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
Claude-User
Zo sta je hem toe
User-agent: Claude-User
Allow: /Zo blokkeer je hem
User-agent: Claude-User
Disallow: /Zo verifieer je echte bezoeken
Anthropic publiceert de IP-adressen van zijn crawlers op claude.com/crawling/bots.json en zegt dat een crawler waarvan het IP op die lijst staat van Anthropic komt. Vergelijk het bron-IP met de lijst in plaats van de user agent te vertrouwen. Anthropic raadt af om IP-blokkering te gebruiken om je uit te sluiten, omdat de crawler dan ook robots.txt niet meer kan lezen.
Controleer of je site hem toelaat →
De crawlers van Anthropic: ClaudeBot, Claude-SearchBot en Claude-User →