ClaudeBot
ClaudeBot је Anthropic краулер за веб садржај који може да се користи за обуку његових генеративних AI модела. Забрана у robots.txt сигнализира да будући садржај вашег сајта треба искључити из обуке. Само његово блокирање не зауставља Claude-SearchBot ни Claude-User, који служе претрази и одговорима уживо.
Како да га дозволите
User-agent: ClaudeBot
Allow: / Како да га блокирате
User-agent: ClaudeBot
Disallow: / Шта ради
Anthropic каже да ClaudeBot прикупља веб садржај који би могао да допринесе обуци његових модела, да би они били кориснији и безбеднији. Забрана ClaudeBot-а сигнализира да будуће материјале вашег сајта треба искључити из скупова података за обуку.
Anthropic подржава и нестандардну директиву Crawl-delay, па ClaudeBot можете да успорите уместо да га блокирате. Правила у robots.txt која наводе ClaudeBot имају предност над општим Anthropic сигналом о забрани AI обуке. Правила robots.txt важе по хосту, па их додајте на сваки поддомен који желите да покријете.
У нашој студији из 2026-11 блокирало га је 21.2% популарних сајтова са robots.txt. →
robots.txt токен
ClaudeBot
Како да проверите праве посете
Anthropic објављује IP адресе својих краулера на claude.com/crawling/bots.json и каже да краулер чији је IP на том списку долази од Anthropic-а. Упоредите изворни IP са списком уместо да верујете user agent-у. Anthropic не препоручује блокирање по IP-у као начин одјаве, јер тако краулер не може да прочита ни robots.txt.
Проверите да ли га ваш сајт пушта →
Anthropic-ови краулери: ClaudeBot, Claude-SearchBot и Claude-User →