Claude-SearchBot
Claude-SearchBot обходить веб, щоб покращити релевантність і точність результатів пошуку в Claude. Anthropic каже, що його блокування не дає індексувати ваш контент для пошуку, що може зменшити вашу видимість і точність у результатах пошуку користувачів. Дозвольте його, якщо хочете, щоб Claude знаходив і цитував ваші сторінки.
Що він робить
Anthropic використовує Claude-SearchBot, щоб переглядати веб і підвищувати якість результатів пошуку для користувачів Claude. Він окремий від ClaudeBot, краулера для навчання, тож можна дозволити пошук і водночас відмовитися від навчання.
Anthropic каже, що вимкнення Claude-SearchBot не дає індексувати ваш контент для оптимізації пошуку, що може зменшити видимість і точність вашого сайту в результатах пошуку користувачів. Боти Anthropic дотримуються robots.txt і поважають заходи проти обходу захисту, тому CAPTCHA чи сторінка-перевірка завершує візит.
У нашому дослідженні за 2026-11 його заблокували 12.9% популярних сайтів із robots.txt. →
Токен robots.txt
Claude-SearchBot
Як його дозволити
User-agent: Claude-SearchBot
Allow: /Як його заблокувати
User-agent: Claude-SearchBot
Disallow: /Як перевірити справжні візити
Anthropic публікує IP-адреси своїх краулерів за адресою claude.com/crawling/bots.json і стверджує, що краулер, чий IP є в цьому списку, походить від Anthropic. Порівнюйте IP джерела зі списком, а не довіряйте user agent. Anthropic не радить відмовлятися від краулінгу через блокування за IP, бо тоді краулер не зможе прочитати й robots.txt.
Перевірте, чи пускає його ваш сайт →
Краулери Anthropic: ClaudeBot, Claude-SearchBot і Claude-User →