Claude-SearchBot
Claude-SearchBot durchsucht das Web, um die Relevanz und Genauigkeit der Suchergebnisse in Claude zu verbessern. Laut Anthropic verhindert eine Sperre, dass Ihre Inhalte für die Suche indexiert werden, was Ihre Sichtbarkeit und die Genauigkeit in den Suchergebnissen der Nutzer verringern kann. Lassen Sie ihn zu, wenn Claude Ihre Seiten finden und zitieren soll.
Was er tut
Anthropic verwendet Claude-SearchBot, um das Web zu durchsuchen und die Qualität der Suchergebnisse für Claude-Nutzer zu verbessern. Er ist von ClaudeBot, dem Trainings-Crawler, getrennt; Sie können also die Suche zulassen und dem Training widersprechen.
Laut Anthropic verhindert das Deaktivieren von Claude-SearchBot die Indexierung Ihrer Inhalte für die Suchoptimierung, was die Sichtbarkeit Ihrer Website und die Genauigkeit in den Suchergebnissen der Nutzer verringern kann. Die Bots von Anthropic beachten die robots.txt und respektieren Maßnahmen gegen Umgehung, sodass ein CAPTCHA oder eine Challenge-Seite den Besuch beendet.
In unserer Studie vom 2026-11 blockierten 12.9% der beliebten Websites mit einer robots.txt ihn. →
robots.txt-Token
Claude-SearchBot
So lassen Sie ihn zu
User-agent: Claude-SearchBot
Allow: /So blockieren Sie ihn
User-agent: Claude-SearchBot
Disallow: /So prüfen Sie echte Besuche
Anthropic veröffentlicht die IP-Adressen seiner Crawler unter claude.com/crawling/bots.json und erklärt, dass ein Crawler, dessen IP auf dieser Liste steht, von Anthropic stammt. Gleichen Sie die Quell-IP mit der Liste ab, statt dem User-Agent zu vertrauen. Anthropic rät davon ab, IP-Blockaden für den Widerspruch zu nutzen, weil der Crawler dann auch die robots.txt nicht mehr lesen kann.
Prüfen, ob Ihre Website ihn hereinlässt →
Die Crawler von Anthropic: ClaudeBot, Claude-SearchBot und Claude-User →