Claude-SearchBot
Claude-SearchBot pretražuje web kako bi poboljšao relevantnost i točnost rezultata pretraživanja u Claudeu. Anthropic navodi da njegovo blokiranje sprječava indeksiranje vašeg sadržaja za pretraživanje, što može smanjiti vašu vidljivost i točnost u rezultatima pretraživanja korisnika. Dopustite ga ako želite da Claude pronalazi i citira vaše stranice.
Kako ga dopustiti
User-agent: Claude-SearchBot
Allow: / Kako ga blokirati
User-agent: Claude-SearchBot
Disallow: / Što radi
Anthropic koristi Claude-SearchBot za kretanje webom i poboljšanje kvalitete rezultata pretraživanja za korisnike Claudea. Odvojen je od ClaudeBota, crawlera za treniranje, pa možete dopustiti pretraživanje, a isključiti se iz treniranja.
Anthropic navodi da isključivanje Claude-SearchBota sprječava indeksiranje vašeg sadržaja za optimizaciju pretraživanja, što može smanjiti vidljivost i točnost vaše web-stranice u rezultatima pretraživanja korisnika. Anthropicovi botovi poštuju robots.txt i mjere protiv zaobilaženja, pa CAPTCHA ili stranica s provjerom završava posjet.
U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 12.9% popularnih web-stranica s datotekom robots.txt. →
Token za robots.txt
Claude-SearchBot
Kako provjeriti stvarne posjete
Anthropic objavljuje IP adrese svojih crawlera na claude.com/crawling/bots.json i navodi da crawler čija je IP adresa na tom popisu dolazi od Anthropica. Usporedite izvornu IP adresu s popisom umjesto da vjerujete user agentu. Anthropic ne preporučuje blokiranje IP adresa kao način isključivanja jer crawler tada ne može pročitati ni robots.txt.
Provjerite propušta li ga vaša web-stranica →
Anthropicovi crawleri: ClaudeBot, Claude-SearchBot i Claude-User →