Claude-SearchBot
Claude-SearchBot crawler nettet for å gjøre søkeresultatene i Claude mer relevante og presise. Anthropic sier at blokkering hindrer at innholdet ditt indekseres for søk, noe som kan redusere synligheten og presisjonen i brukernes søkeresultater. Tillat den hvis du vil at Claude skal finne og sitere sidene dine.
Hva den gjør
Anthropic bruker Claude-SearchBot til å navigere på nettet og forbedre kvaliteten på søkeresultatene for Claude-brukere. Den er adskilt fra ClaudeBot, treningscrawleren, så du kan tillate søk og samtidig velge bort trening.
Anthropic sier at det å slå av Claude-SearchBot hindrer indeksering av innholdet ditt for søkeoptimalisering, noe som kan redusere nettstedets synlighet og presisjon i brukernes søkeresultater. Anthropics boter respekterer robots.txt og tiltak mot omgåelse, så en CAPTCHA eller utfordringsside avslutter besøket.
I undersøkelsen vår fra 2026-11 blokkerte 12.9% av de populære nettstedene med robots.txt den. →
robots.txt-token
Claude-SearchBot
Slik tillater du den
User-agent: Claude-SearchBot
Allow: /Slik blokkerer du den
User-agent: Claude-SearchBot
Disallow: /Slik verifiserer du ekte besøk
Anthropic publiserer IP-adressene til crawlerne sine på claude.com/crawling/bots.json og sier at en crawler med en IP-adresse på listen kommer fra Anthropic. Sammenlign kilde-IP-en med listen i stedet for å stole på user agent. Anthropic fraråder IP-blokkering for å velge bort, fordi den også hindrer crawleren i å lese robots.txt.
Sjekk om nettstedet ditt slipper den inn →
Anthropics crawlere: ClaudeBot, Claude-SearchBot og Claude-User →