ClaudeBot

Anthropic · Обука на AI

ClaudeBot е краулерот на Anthropic за веб-содржина што може да се користи за обука на неговите генеративни AI модели. Забраната во robots.txt сигнализира дека идната содржина на вашиот сајт треба да се исклучи од обуката. Само неговото блокирање не ги запира Claude-SearchBot и Claude-User, кои служат за пребарување и одговори во живо.

Како да се дозволи

User-agent: ClaudeBot
Allow: /

Како да се блокира

User-agent: ClaudeBot
Disallow: /

Што прави

Anthropic вели дека ClaudeBot собира веб-содржина што би можела да придонесе за обуката на неговите модели, за да им се зголемат корисноста и безбедноста. Забраната на ClaudeBot сигнализира дека идните материјали на вашиот сајт треба да се исклучат од податоците за обука.

Anthropic ја поддржува и нестандардната директива Crawl-delay, па можете да го забавите ClaudeBot наместо да го блокирате. Правилата што го именуваат ClaudeBot во robots.txt имаат предност пред општиот сигнал на Anthropic против обука на AI. Правилата во robots.txt важат по хост, па додајте ги на секој поддомен што сакате да го покриете.

Во нашата студија од 2026-11, 21.2% од популарните сајтови со robots.txt го блокираа. →

Ознака за robots.txt

ClaudeBot

Како да се потврдат вистинските посети

Anthropic ги објавува IP адресите на своите краулери на claude.com/crawling/bots.json и вели дека краулер чија IP адреса е на таа листа доаѓа од Anthropic. Споредете ја изворната IP адреса со листата наместо да му верувате на user agent-от. Anthropic не препорачува блокирање по IP за да се откажете, бидејќи тоа го спречува краулерот и да го прочита robots.txt.

Проверете дали вашиот сајт го пушта →

Краулерите на Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →