Claude-SearchBot
Claude-SearchBot обхожда мрежата, за да подобри уместността и точността на резултатите от търсене в Claude. Anthropic казва, че блокирането му пречи съдържанието ви да бъде индексирано за търсене, което може да намали видимостта и точността ви в резултатите от търсене на потребителите. Допуснете го, ако искате Claude да намира и цитира страниците ви.
Как да го допуснете
User-agent: Claude-SearchBot
Allow: / Как да го блокирате
User-agent: Claude-SearchBot
Disallow: / Какво прави
Anthropic използва Claude-SearchBot, за да обхожда мрежата и да подобрява качеството на резултатите от търсене за потребителите на Claude. Той е отделен от ClaudeBot, бота за обучение, така че можете да допуснете търсенето и да откажете обучението.
Anthropic казва, че изключването на Claude-SearchBot пречи на индексирането на съдържанието ви за оптимизация на търсенето, което може да намали видимостта и точността на сайта ви в резултатите от търсене на потребителите. Ботовете на Anthropic спазват robots.txt и мерките срещу заобикаляне, така че CAPTCHA или страница за проверка прекратява посещението.
В нашето проучване от 2026-11 12.9% от популярните сайтове с robots.txt са го блокирали. →
Токен за robots.txt
Claude-SearchBot
Как да проверите истинските посещения
Anthropic публикува IP адресите на своите ботове на claude.com/crawling/bots.json и казва, че бот, чийто IP е в този списък, идва от Anthropic. Сравнявайте IP адреса на източника със списъка, вместо да се доверявате на user agent. Anthropic не препоръчва блокиране по IP като начин за отказ, защото то пречи на бота да прочете и robots.txt.
Проверете дали сайтът ви го допуска →
Ботовете на Anthropic: ClaudeBot, Claude-SearchBot и Claude-User →