Claude-SearchBot

Anthropic · AI пребарување

Claude-SearchBot го обиколува интернетот за да ги подобри релевантноста и точноста на резултатите од пребарување во Claude. Anthropic вели дека неговото блокирање спречува вашата содржина да се индексира за пребарување, што може да ги намали вашата видливост и точност во резултатите од пребарување на корисниците. Дозволете го ако сакате Claude да ги наоѓа и цитира вашите страници.

Како да се дозволи

User-agent: Claude-SearchBot
Allow: /

Како да се блокира

User-agent: Claude-SearchBot
Disallow: /

Што прави

Anthropic го користи Claude-SearchBot за да се движи низ интернетот и да го подобри квалитетот на резултатите од пребарување за корисниците на Claude. Тој е одвоен од ClaudeBot, краулерот за обука, па можете да го дозволите пребарувањето, а да се откажете од обуката.

Anthropic вели дека исклучувањето на Claude-SearchBot го спречува индексирањето на вашата содржина за оптимизација на пребарувањето, што може да ги намали видливоста и точноста на вашиот сајт во резултатите од пребарување на корисниците. Ботовите на Anthropic го почитуваат robots.txt и мерките против заобиколување, па CAPTCHA или страница со предизвик ја завршува посетата.

Во нашата студија од 2026-11, 12.9% од популарните сајтови со robots.txt го блокираа. →

Ознака за robots.txt

Claude-SearchBot

Како да се потврдат вистинските посети

Anthropic ги објавува IP адресите на своите краулери на claude.com/crawling/bots.json и вели дека краулер чија IP адреса е на таа листа доаѓа од Anthropic. Споредете ја изворната IP адреса со листата наместо да му верувате на user agent-от. Anthropic не препорачува блокирање по IP за да се откажете, бидејќи тоа го спречува краулерот и да го прочита robots.txt.

Проверете дали вашиот сајт го пушта →

Краулерите на Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →