Claude-SearchBot
Claude-SearchBot пописује веб да би побољшао релевантност и тачност резултата претраге у Claude-у. Anthropic каже да његово блокирање спречава индексирање вашег садржаја за претрагу, што може да смањи вашу видљивост и тачност у резултатима претраге корисника. Дозволите га ако желите да Claude проналази и цитира ваше странице.
Како да га дозволите
User-agent: Claude-SearchBot
Allow: / Како да га блокирате
User-agent: Claude-SearchBot
Disallow: / Шта ради
Anthropic користи Claude-SearchBot да се креће кроз веб и побољша квалитет резултата претраге за кориснике Claude-а. Одвојен је од ClaudeBot-а, краулера за обуку, па можете да дозволите претрагу, а да се одјавите од обуке.
Anthropic каже да искључивање Claude-SearchBot-а спречава индексирање вашег садржаја за оптимизацију претраге, што може да смањи видљивост и тачност вашег сајта у резултатима претраге корисника. Anthropic ботови поштују robots.txt и мере против заобилажења, па CAPTCHA или страница са изазовом окончава посету.
У нашој студији из 2026-11 блокирало га је 12.9% популарних сајтова са robots.txt. →
robots.txt токен
Claude-SearchBot
Како да проверите праве посете
Anthropic објављује IP адресе својих краулера на claude.com/crawling/bots.json и каже да краулер чији је IP на том списку долази од Anthropic-а. Упоредите изворни IP са списком уместо да верујете user agent-у. Anthropic не препоручује блокирање по IP-у као начин одјаве, јер тако краулер не може да прочита ни robots.txt.
Проверите да ли га ваш сајт пушта →
Anthropic-ови краулери: ClaudeBot, Claude-SearchBot и Claude-User →