ClaudeBot
ClaudeBot — Anthropic-тің генеративтік ЖИ модельдерін оқытуға пайдаланылуы мүмкін веб-мазмұнға арналған краулері. Оған robots.txt-те тыйым салу сайтыңыздың болашақ мазмұнын оқытудан шығару керектігін білдіреді. Оны жалғыз бұғаттау іздеу мен тікелей жауаптарға қызмет ететін Claude-SearchBot пен Claude-User-ді тоқтатпайды.
Оны қалай өткізуге болады
User-agent: ClaudeBot
Allow: / Оны қалай бұғаттауға болады
User-agent: ClaudeBot
Disallow: / Ол не істейді
Anthropic-тің айтуынша, ClaudeBot модельдерінің пайдалылығы мен қауіпсіздігін арттыруға көмектесу үшін оларды оқытуға үлес қосуы мүмкін веб-мазмұнды жинайды. ClaudeBot-қа тыйым салу сайтыңыздың болашақ материалдарын оқыту деректер жиынынан шығару керектігін білдіреді.
Anthropic стандартты емес Crawl-delay директивасын да қолдайды, сондықтан ClaudeBot-ты бұғаттаудың орнына баяулатуға болады. robots.txt-те ClaudeBot-ты атайтын ережелер Anthropic-тің ЖИ-ді оқытуға қарсы жалпы сигналынан басым. robots.txt ережелері әр хостқа бөлек қолданылады, сондықтан оларды қамтығыңыз келетін әр субдоменге қосыңыз.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 21.2% бөлігі оны бұғаттаған. →
robots.txt токені
ClaudeBot
Нақты кірулерді қалай тексеруге болады
Anthropic өз краулерлерінің IP мекенжайларын claude.com/crawling/bots.json мекенжайында жариялайды және IP мекенжайы сол тізімде бар краулер Anthropic-тен келетінін айтады. User agent-ке сенудің орнына бастапқы IP-ді тізіммен салыстырыңыз. Anthropic бас тарту үшін IP бұғаттауды пайдаланбауға кеңес береді, себебі ол краулерге robots.txt-ті оқуға да мүмкіндік бермейді.
Сайтыңыз оны өткізетінін тексеріңіз →
Anthropic краулерлері: ClaudeBot, Claude-SearchBot және Claude-User →