ClaudeBot

Anthropic · Pelatihan AI

ClaudeBot adalah crawler Anthropic untuk konten web yang dapat digunakan melatih model AI generatifnya. Melarangnya di robots.txt menandakan bahwa konten situs Anda di masa mendatang harus dikecualikan dari pelatihan. Memblokirnya saja tidak menghentikan Claude-SearchBot atau Claude-User, yang melayani pencarian dan jawaban langsung.

Fungsinya

Anthropic menyatakan ClaudeBot mengumpulkan konten web yang dapat berkontribusi pada pelatihan modelnya, untuk meningkatkan kegunaan dan keamanannya. Melarang ClaudeBot menandakan bahwa materi situs Anda di masa mendatang harus dikecualikan dari dataset pelatihan.

Anthropic juga mendukung direktif Crawl-delay yang tidak standar, sehingga Anda dapat memperlambat ClaudeBot alih-alih memblokirnya. Aturan yang menyebut ClaudeBot di robots.txt didahulukan daripada sinyal umum Anthropic tentang larangan pelatihan AI. Aturan robots.txt berlaku per host, jadi tambahkan ke setiap subdomain yang ingin Anda cakup.

Dalam studi kami pada 2026-11, 21.2% situs populer yang memiliki robots.txt memblokirnya. →

Token robots.txt

ClaudeBot

Cara mengizinkannya

User-agent: ClaudeBot
Allow: /

Cara memblokirnya

User-agent: ClaudeBot
Disallow: /

Cara memverifikasi kunjungan asli

Anthropic mempublikasikan alamat IP crawler-nya di claude.com/crawling/bots.json dan menyatakan bahwa crawler dengan IP yang tercantum dalam daftar itu berasal dari Anthropic. Cocokkan IP sumber dengan daftar tersebut, jangan percaya begitu saja pada user agent. Anthropic tidak menyarankan pemblokiran IP untuk memilih keluar, karena hal itu juga menghentikan crawler membaca robots.txt.

Periksa apakah situs Anda mengizinkannya →

Crawler Anthropic: ClaudeBot, Claude-SearchBot, dan Claude-User →