Claude-SearchBot
Claude-SearchBot го обиколува интернетот за да ги подобри релевантноста и точноста на резултатите од пребарување во Claude. Anthropic вели дека неговото блокирање спречува вашата содржина да се индексира за пребарување, што може да ги намали вашата видливост и точност во резултатите од пребарување на корисниците. Дозволете го ако сакате Claude да ги наоѓа и цитира вашите страници.
Како да се дозволи
User-agent: Claude-SearchBot
Allow: / Како да се блокира
User-agent: Claude-SearchBot
Disallow: / Што прави
Anthropic го користи Claude-SearchBot за да се движи низ интернетот и да го подобри квалитетот на резултатите од пребарување за корисниците на Claude. Тој е одвоен од ClaudeBot, краулерот за обука, па можете да го дозволите пребарувањето, а да се откажете од обуката.
Anthropic вели дека исклучувањето на Claude-SearchBot го спречува индексирањето на вашата содржина за оптимизација на пребарувањето, што може да ги намали видливоста и точноста на вашиот сајт во резултатите од пребарување на корисниците. Ботовите на Anthropic го почитуваат robots.txt и мерките против заобиколување, па CAPTCHA или страница со предизвик ја завршува посетата.
Во нашата студија од 2026-11, 12.9% од популарните сајтови со robots.txt го блокираа. →
Ознака за robots.txt
Claude-SearchBot
Како да се потврдат вистинските посети
Anthropic ги објавува IP адресите на своите краулери на claude.com/crawling/bots.json и вели дека краулер чија IP адреса е на таа листа доаѓа од Anthropic. Споредете ја изворната IP адреса со листата наместо да му верувате на user agent-от. Anthropic не препорачува блокирање по IP за да се откажете, бидејќи тоа го спречува краулерот и да го прочита robots.txt.
Проверете дали вашиот сајт го пушта →
Краулерите на Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →