ClaudeBot

Anthropic · Обука AI модела

ClaudeBot је Anthropic краулер за веб садржај који може да се користи за обуку његових генеративних AI модела. Забрана у robots.txt сигнализира да будући садржај вашег сајта треба искључити из обуке. Само његово блокирање не зауставља Claude-SearchBot ни Claude-User, који служе претрази и одговорима уживо.

Како да га дозволите

User-agent: ClaudeBot
Allow: /

Како да га блокирате

User-agent: ClaudeBot
Disallow: /

Шта ради

Anthropic каже да ClaudeBot прикупља веб садржај који би могао да допринесе обуци његових модела, да би они били кориснији и безбеднији. Забрана ClaudeBot-а сигнализира да будуће материјале вашег сајта треба искључити из скупова података за обуку.

Anthropic подржава и нестандардну директиву Crawl-delay, па ClaudeBot можете да успорите уместо да га блокирате. Правила у robots.txt која наводе ClaudeBot имају предност над општим Anthropic сигналом о забрани AI обуке. Правила robots.txt важе по хосту, па их додајте на сваки поддомен који желите да покријете.

У нашој студији из 2026-11 блокирало га је 21.2% популарних сајтова са robots.txt. →

robots.txt токен

ClaudeBot

Како да проверите праве посете

Anthropic објављује IP адресе својих краулера на claude.com/crawling/bots.json и каже да краулер чији је IP на том списку долази од Anthropic-а. Упоредите изворни IP са списком уместо да верујете user agent-у. Anthropic не препоручује блокирање по IP-у као начин одјаве, јер тако краулер не може да прочита ни robots.txt.

Проверите да ли га ваш сајт пушта →

Anthropic-ови краулери: ClaudeBot, Claude-SearchBot и Claude-User →