ClaudeBot
ClaudeBot yra Anthropic robotas, renkantis žiniatinklio turinį, kuris gali būti naudojamas jos generatyvinio DI modelių mokymui. Uždraudę jį robots.txt, nurodote, kad būsimas jūsų svetainės turinys turi būti neįtrauktas į mokymą. Vien jo blokavimas nesustabdo Claude-SearchBot ar Claude-User, kurie aptarnauja paiešką ir tiesioginius atsakymus.
Kaip jį įleisti
User-agent: ClaudeBot
Allow: / Kaip jį blokuoti
User-agent: ClaudeBot
Disallow: / Ką jis daro
Anthropic teigia, kad ClaudeBot renka žiniatinklio turinį, kuris gali prisidėti prie jos modelių mokymo, kad jie būtų naudingesni ir saugesni. ClaudeBot uždraudimas nurodo, kad būsima jūsų svetainės medžiaga turi būti neįtraukta į mokymo duomenų rinkinius.
Anthropic taip pat palaiko nestandartinę Crawl-delay direktyvą, todėl ClaudeBot galite sulėtinti, užuot blokavę. ClaudeBot įvardijančios robots.txt taisyklės turi pirmenybę prieš bendrą Anthropic signalą „nemokyti DI“. robots.txt taisyklės taikomos kiekvienam serveriui atskirai, todėl pridėkite jas kiekviename subdomene, kurį norite apimti.
Mūsų 2026-11 tyrime jį blokavo 21.2% populiarių svetainių, turinčių robots.txt. →
robots.txt žymuo
ClaudeBot
Kaip patvirtinti tikrus apsilankymus
Anthropic skelbia savo robotų IP adresus adresu claude.com/crawling/bots.json ir nurodo, kad robotas, kurio IP yra tame sąraše, yra iš Anthropic. Tikrinkite šaltinio IP pagal sąrašą, o ne pasitikėkite user agent. Anthropic nepataria atsisakyti blokuojant IP, nes tada robotas negali perskaityti ir robots.txt.
Patikrinkite, ar jūsų svetainė jį įleidžia →
Anthropic robotai: ClaudeBot, Claude-SearchBot ir Claude-User →