Claude-SearchBot
Claude-SearchBot genomsöker webben för att förbättra relevansen och träffsäkerheten i sökresultaten i Claude. Anthropic säger att en blockering hindrar ditt innehåll från att indexeras för sök, vilket kan minska din synlighet och träffsäkerhet i användarnas sökresultat. Tillåt den om du vill att Claude ska hitta och citera dina sidor.
Vad den gör
Anthropic använder Claude-SearchBot för att navigera på webben och förbättra kvaliteten på sökresultaten för Claude-användare. Den är skild från ClaudeBot, träningscrawlern, så du kan tillåta sök och samtidigt välja bort träning.
Anthropic säger att om du stänger av Claude-SearchBot indexeras inte ditt innehåll för sökoptimering, vilket kan minska din sajts synlighet och träffsäkerhet i användarnas sökresultat. Anthropics botar följer robots.txt och respekterar skydd mot kringgående, så en CAPTCHA eller en utmaningssida avslutar besöket.
I vår studie från 2026-11 blockerade 12.9% av de populära sajterna med en robots.txt den. →
robots.txt-token
Claude-SearchBot
Så tillåter du den
User-agent: Claude-SearchBot
Allow: /Så blockerar du den
User-agent: Claude-SearchBot
Disallow: /Så verifierar du riktiga besök
Anthropic publicerar IP-adresserna för sina crawlers på claude.com/crawling/bots.json och säger att en crawler vars IP finns på listan kommer från Anthropic. Jämför käll-IP med listan i stället för att lita på user agent. Anthropic avråder från att välja bort via IP-blockering, eftersom det också hindrar crawlern från att läsa robots.txt.
Kontrollera om din sajt släpper in den →
Anthropics crawlers: ClaudeBot, Claude-SearchBot och Claude-User →