Claude-SearchBot
Claude-SearchBot parcurge web-ul pentru a îmbunătăți relevanța și acuratețea rezultatelor căutării din Claude. Anthropic spune că blocarea lui împiedică indexarea conținutului tău pentru căutare, ceea ce poate reduce vizibilitatea și acuratețea în rezultatele căutării utilizatorilor. Permite-l dacă vrei ca Claude să îți găsească și să îți citeze paginile.
Ce face
Anthropic folosește Claude-SearchBot pentru a naviga pe web și a îmbunătăți calitatea rezultatelor căutării pentru utilizatorii Claude. Este separat de ClaudeBot, crawlerul de antrenare, așa că poți permite căutarea și totodată refuza antrenarea.
Anthropic spune că dezactivarea lui Claude-SearchBot împiedică indexarea conținutului tău pentru optimizarea căutării, ceea ce poate reduce vizibilitatea și acuratețea site-ului tău în rezultatele căutării utilizatorilor. Boții Anthropic respectă robots.txt și măsurile anti-ocolire, deci un CAPTCHA sau o pagină de verificare încheie vizita.
În studiul nostru din 2026-11, 12.9% dintre site-urile populare cu robots.txt îl blocau. →
Tokenul robots.txt
Claude-SearchBot
Cum îl permiți
User-agent: Claude-SearchBot
Allow: /Cum îl blochezi
User-agent: Claude-SearchBot
Disallow: /Cum verifici vizitele reale
Anthropic publică adresele IP ale crawlerelor sale la claude.com/crawling/bots.json și spune că un crawler al cărui IP se află pe acea listă vine de la Anthropic. Compară IP-ul sursă cu lista, în loc să te încrezi în user agent. Anthropic nu recomandă blocarea pe IP pentru a refuza, deoarece aceasta împiedică și crawlerul să citească robots.txt.
Verifică dacă site-ul tău îl lasă să intre →
Crawlerele Anthropic: ClaudeBot, Claude-SearchBot și Claude-User →