ClaudeBot

Anthropic · Навчання ШІ

ClaudeBot — краулер Anthropic для вебконтенту, який може використовуватися для навчання її генеративних моделей ШІ. Заборона в robots.txt сигналізує, що майбутній контент вашого сайту слід виключити з навчання. Сама лише ця заборона не зупиняє Claude-SearchBot і Claude-User, які обслуговують пошук і відповіді в реальному часі.

Що він робить

Anthropic каже, що ClaudeBot збирає вебконтент, який може бути використаний для навчання її моделей, щоб підвищити їхню корисність і безпеку. Заборона ClaudeBot сигналізує, що майбутні матеріали вашого сайту слід виключити з наборів даних для навчання.

Anthropic також підтримує нестандартну директиву Crawl-delay, тому ClaudeBot можна уповільнити, а не блокувати. Правила в robots.txt, що називають ClaudeBot, мають пріоритет над загальним сигналом Anthropic про заборону навчання ШІ. Правила robots.txt діють для кожного хоста окремо, тож додайте їх до кожного піддомену, який хочете охопити.

У нашому дослідженні за 2026-11 його заблокували 21.2% популярних сайтів із robots.txt. →

Токен robots.txt

ClaudeBot

Як його дозволити

User-agent: ClaudeBot
Allow: /

Як його заблокувати

User-agent: ClaudeBot
Disallow: /

Як перевірити справжні візити

Anthropic публікує IP-адреси своїх краулерів за адресою claude.com/crawling/bots.json і стверджує, що краулер, чий IP є в цьому списку, походить від Anthropic. Порівнюйте IP джерела зі списком, а не довіряйте user agent. Anthropic не радить відмовлятися від краулінгу через блокування за IP, бо тоді краулер не зможе прочитати й robots.txt.

Перевірте, чи пускає його ваш сайт →

Краулери Anthropic: ClaudeBot, Claude-SearchBot і Claude-User →