Claude-SearchBot
Claude-SearchBot crawlt het web om de relevantie en nauwkeurigheid van zoekresultaten in Claude te verbeteren. Anthropic zegt dat blokkeren voorkomt dat je content voor zoeken wordt geïndexeerd, wat je zichtbaarheid en nauwkeurigheid in de zoekresultaten van gebruikers kan verminderen. Sta hem toe als je wilt dat Claude je pagina's vindt en citeert.
Wat de crawler doet
Anthropic gebruikt Claude-SearchBot om het web te doorzoeken en de kwaliteit van zoekresultaten voor Claude-gebruikers te verbeteren. Hij staat los van ClaudeBot, de trainingscrawler, dus je kunt zoeken toestaan en training uitsluiten.
Anthropic zegt dat het uitschakelen van Claude-SearchBot voorkomt dat je content voor zoekoptimalisatie wordt geïndexeerd, wat de zichtbaarheid en nauwkeurigheid van je site in de zoekresultaten van gebruikers kan verminderen. De bots van Anthropic respecteren robots.txt en maatregelen tegen omzeiling, dus een CAPTCHA of challengepagina beëindigt het bezoek.
In ons onderzoek van 2026-11 blokkeerde 12.9% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
Claude-SearchBot
Zo sta je hem toe
User-agent: Claude-SearchBot
Allow: /Zo blokkeer je hem
User-agent: Claude-SearchBot
Disallow: /Zo verifieer je echte bezoeken
Anthropic publiceert de IP-adressen van zijn crawlers op claude.com/crawling/bots.json en zegt dat een crawler waarvan het IP op die lijst staat van Anthropic komt. Vergelijk het bron-IP met de lijst in plaats van de user agent te vertrouwen. Anthropic raadt af om IP-blokkering te gebruiken om je uit te sluiten, omdat de crawler dan ook robots.txt niet meer kan lezen.
Controleer of je site hem toelaat →
De crawlers van Anthropic: ClaudeBot, Claude-SearchBot en Claude-User →