Claude-SearchBot
Claude-SearchBot meng-crawl web untuk meningkatkan relevansi dan akurasi hasil pencarian di Claude. Anthropic menyatakan bahwa memblokirnya mencegah konten Anda diindeks untuk pencarian, yang dapat mengurangi visibilitas dan akurasi Anda dalam hasil pencarian pengguna. Izinkan jika Anda ingin Claude menemukan dan mengutip halaman Anda.
Fungsinya
Anthropic memakai Claude-SearchBot untuk menjelajahi web dan meningkatkan kualitas hasil pencarian bagi pengguna Claude. Bot ini terpisah dari ClaudeBot, crawler pelatihan, sehingga Anda dapat mengizinkan pencarian sambil memilih keluar dari pelatihan.
Anthropic menyatakan bahwa menonaktifkan Claude-SearchBot mencegah pengindeksan konten Anda untuk optimasi pencarian, yang dapat mengurangi visibilitas dan akurasi situs Anda dalam hasil pencarian pengguna. Bot Anthropic mematuhi robots.txt dan menghormati langkah anti-pengelabuan, sehingga CAPTCHA atau halaman tantangan mengakhiri kunjungan.
Dalam studi kami pada 2026-11, 12.9% situs populer yang memiliki robots.txt memblokirnya. →
Token robots.txt
Claude-SearchBot
Cara mengizinkannya
User-agent: Claude-SearchBot
Allow: /Cara memblokirnya
User-agent: Claude-SearchBot
Disallow: /Cara memverifikasi kunjungan asli
Anthropic mempublikasikan alamat IP crawler-nya di claude.com/crawling/bots.json dan menyatakan bahwa crawler dengan IP yang tercantum dalam daftar itu berasal dari Anthropic. Cocokkan IP sumber dengan daftar tersebut, jangan percaya begitu saja pada user agent. Anthropic tidak menyarankan pemblokiran IP untuk memilih keluar, karena hal itu juga menghentikan crawler membaca robots.txt.
Periksa apakah situs Anda mengizinkannya →
Crawler Anthropic: ClaudeBot, Claude-SearchBot, dan Claude-User →