ClaudeBot
ClaudeBot ialah perangkak Anthropic untuk kandungan web yang mungkin digunakan bagi melatih model AI generatifnya. Melarangnya dalam robots.txt memberi isyarat bahawa kandungan baharu laman anda patut dikecualikan daripada latihan. Menyekatnya sahaja tidak menghentikan Claude-SearchBot atau Claude-User, yang melayani carian dan jawapan langsung.
Fungsinya
Anthropic menyatakan ClaudeBot mengumpul kandungan web yang boleh menyumbang kepada latihan modelnya, bagi membantu meningkatkan kegunaan dan keselamatannya. Melarang ClaudeBot memberi isyarat bahawa bahan akan datang laman anda patut dikecualikan daripada set data latihan.
Anthropic juga menyokong arahan Crawl-delay yang bukan piawai, supaya anda boleh memperlahankan ClaudeBot dan bukannya menyekatnya. Peraturan yang menamakan ClaudeBot dalam robots.txt mengatasi isyarat umum Anthropic tentang tiada latihan AI. Peraturan robots.txt terpakai bagi setiap hos, jadi tambahkannya pada setiap subdomain yang mahu dilindungi.
Dalam kajian 2026-11 kami, 21.2% laman popular yang mempunyai robots.txt telah menyekatnya. →
Token robots.txt
ClaudeBot
Cara membenarkannya
User-agent: ClaudeBot
Allow: /Cara menyekatnya
User-agent: ClaudeBot
Disallow: /Cara mengesahkan lawatan sebenar
Anthropic menerbitkan alamat IP perangkaknya di claude.com/crawling/bots.json dan menyatakan perangkak yang IP-nya ada dalam senarai itu datang daripada Anthropic. Padankan IP sumber dengan senarai tersebut dan bukannya mempercayai user agent. Anthropic menasihatkan agar tidak menggunakan sekatan IP untuk menarik diri, kerana ia juga menghalang perangkak daripada membaca robots.txt.
Semak sama ada laman anda membenarkannya masuk →
Crawler Anthropic: ClaudeBot, Claude-SearchBot dan Claude-User →