ClaudeBot

Anthropic · AI treenimine

ClaudeBot on Anthropicu robot veebisisu jaoks, mida võidakse kasutada selle generatiivsete AI-mudelite treenimiseks. Selle keelamine robots.txt-s annab märku, et sinu saidi tulevane sisu tuleb treenimisest välja jätta. Ainult selle blokeerimine ei peata roboteid Claude-SearchBot ja Claude-User, mis teenindavad otsingut ja reaalajas vastuseid.

Kuidas seda lubada

User-agent: ClaudeBot
Allow: /

Kuidas seda blokeerida

User-agent: ClaudeBot
Disallow: /

Mida see teeb

Anthropic ütleb, et ClaudeBot kogub veebisisu, mis võib aidata kaasa selle mudelite treenimisele, et parandada nende kasulikkust ja turvalisust. ClaudeBoti keelamine annab märku, et sinu saidi tulevased materjalid tuleb treeningandmekogumitest välja jätta.

Anthropic toetab ka mittestandardset Crawl-delay direktiivi, nii et saad ClaudeBoti aeglustada, selle asemel et seda blokeerida. robots.txt reeglid, mis nimetavad ClaudeBotit, on ülimuslikud Anthropicu üldise AI-treenimise keelu signaali ees. robots.txt reeglid kehtivad hosti kaupa, seega lisa need igale alamdomeenile, mida soovid katta.

Meie uuringus (2026-11) blokeeris selle 21.2% populaarsetest saitidest, millel on robots.txt. →

robots.txt tunnus

ClaudeBot

Kuidas päris külastusi kinnitada

Anthropic avaldab oma robotite IP-aadressid aadressil claude.com/crawling/bots.json ja ütleb, et robot, mille IP on selles loendis, pärineb Anthropicult. Võrdle lähte-IP-d loendiga, selle asemel et user agent'i usaldada. Anthropic ei soovita loobumiseks IP-blokeeringut kasutada, sest see takistab robotil ka robots.txt lugemist.

Kontrolli, kas sinu sait laseb selle sisse →

Anthropicu robotid: ClaudeBot, Claude-SearchBot ja Claude-User →