ClaudeBot
ClaudeBot е ботът на Anthropic за уеб съдържание, което може да се използва за обучение на нейните генеративни AI модели. Забраната му в robots.txt сигнализира, че бъдещото съдържание на сайта ви трябва да бъде изключено от обучението. Само блокирането му не спира Claude-SearchBot или Claude-User, които обслужват търсенето и отговорите в реално време.
Как да го допуснете
User-agent: ClaudeBot
Allow: / Как да го блокирате
User-agent: ClaudeBot
Disallow: / Какво прави
Anthropic казва, че ClaudeBot събира уеб съдържание, което може да допринесе за обучението на моделите ѝ, за да подобри тяхната полезност и безопасност. Забраната на ClaudeBot сигнализира, че бъдещите материали на сайта ви трябва да бъдат изключени от наборите от данни за обучение.
Anthropic поддържа и нестандартната директива Crawl-delay, така че можете да забавите ClaudeBot, вместо да го блокирате. Правилата в robots.txt, които назовават ClaudeBot, имат предимство пред общия сигнал на Anthropic за отказ от обучение на AI. Правилата в robots.txt се прилагат за всеки хост поотделно, така че ги добавете във всеки поддомейн, който искате да обхванете.
В нашето проучване от 2026-11 21.2% от популярните сайтове с robots.txt са го блокирали. →
Токен за robots.txt
ClaudeBot
Как да проверите истинските посещения
Anthropic публикува IP адресите на своите ботове на claude.com/crawling/bots.json и казва, че бот, чийто IP е в този списък, идва от Anthropic. Сравнявайте IP адреса на източника със списъка, вместо да се доверявате на user agent. Anthropic не препоръчва блокиране по IP като начин за отказ, защото то пречи на бота да прочете и robots.txt.
Проверете дали сайтът ви го допуска →
Ботовете на Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →