AISeeWhy
ID
Mulai uji coba gratis

Crawler Anthropic: ClaudeBot, Claude-SearchBot, dan Claude-User

Dipublikasikan

Jawaban singkat

Anthropic menjalankan tiga agen: ClaudeBot mengumpulkan konten yang mungkin dipakai untuk melatih modelnya, Claude-SearchBot merayapi untuk meningkatkan hasil pencarian Claude, dan Claude-User mengambil halaman ketika pertanyaan pengguna Claude memerlukannya. Masing-masing punya token robots.txt sendiri, dan Anthropic menyatakan ketiganya mematuhi robots.txt. Memblokir ClaudeBot saja tidak menghentikan pencarian atau pengambilan oleh pengguna.

Anthropic mendokumentasikan crawler-nya di satu halaman bantuan, dan strukturnya mirip vendor AI lain: satu agen untuk pelatihan, satu untuk pencarian, dan satu untuk pengambilan langsung atas nama pengguna. Jika Anda ingin Claude bisa menemukan dan mengutip halaman Anda, dua yang terakhir paling penting.

Di halaman ini
  1. Apa fungsi ClaudeBot?
  2. Apa fungsi Claude-SearchBot?
  3. Apa fungsi Claude-User?
  4. Bagaimana menulis aturan robots.txt untuk Claude?
  5. Bagaimana susunan Anthropic dibandingkan dengan OpenAI dan Perplexity?
  6. Haruskah saya memblokir Anthropic berdasarkan alamat IP?
  7. Mengapa Claude tetap gagal membaca halaman saya?

Apa fungsi ClaudeBot?

ClaudeBot mengumpulkan konten web yang dapat berkontribusi pada pelatihan model AI generatif Anthropic. Menurut Anthropic, melarangnya menandakan bahwa konten situs Anda di masa depan harus dikeluarkan dari dataset pelatihan.

Anthropic juga menyatakan mematuhi sinyal tanpa-pelatihan-AI yang dapat dibaca mesin berdasarkan draf IETF, dan bahwa aturan yang menyebut ClaudeBot di robots.txt didahulukan dari pengaturan umum itu. Seperti crawler pelatihan lainnya, memblokirnya adalah pilihan kebijakan.

Apa fungsi Claude-SearchBot?

Claude-SearchBot merayapi web untuk meningkatkan relevansi dan akurasi hasil pencarian di Claude. Anthropic menyatakan memblokirnya mencegah konten Anda diindeks untuk pencarian, yang dapat mengurangi visibilitas dan akurasi Anda di hasil pencarian pengguna.

Inilah agen yang perlu diizinkan jika Anda ingin fitur pencarian Claude mengenal halaman Anda sebelum ada yang menanyakannya. Karena ini crawler pencarian, ia diuntungkan oleh hal-hal yang sama seperti crawler pencarian mana pun: sitemap yang dicantumkan di robots.txt, tautan internal yang bersih, dan halaman yang mengembalikan kontennya pada respons pertama.

Apa fungsi Claude-User?

Claude-User mengakses situs web ketika pengguna Claude mengajukan pertanyaan yang memerlukannya, misalnya saat seseorang membagikan URL atau meminta Claude mencari sesuatu. Anthropic menyatakan memblokirnya mencegah pengambilan sebagai respons terhadap pertanyaan pengguna, yang dapat mengurangi visibilitas Anda dalam pencarian web yang diarahkan pengguna.

Perhatikan perbedaannya dengan sebagian vendor lain. Anthropic menyatakan bot-nya mematuhi direktif robots.txt, dan menjelaskan cara memblokir Claude-User lewat robots.txt. OpenAI dan Perplexity, sebaliknya, menyatakan pengambil halaman atas permintaan pengguna mereka mungkin tidak mengikuti robots.txt.

Bagaimana menulis aturan robots.txt untuk Claude?

Setiap agen punya token sendiri, dan grup yang menyebut sebuah crawler menggantikan grup * untuk crawler itu menurut RFC 9309. Pilihan yang umum adalah mengizinkan pencarian dan pengambilan oleh pengguna serta menolak pelatihan:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic juga mendukung Crawl-delay sebagai ekstensi nonstandar, misalnya Crawl-delay: 1 di bawah User-agent: ClaudeBot, jika Anda ingin memperlambat perayapan alih-alih memblokirnya. Aturan harus berada di robots.txt pada direktori tingkat atas setiap host, jadi tambahkan ke setiap subdomain yang ingin Anda cakup.

Bagaimana susunan Anthropic dibandingkan dengan OpenAI dan Perplexity?

Ketiga vendor mengikuti pola yang sama dengan nama berbeda, sehingga robots.txt gabungan mudah dipahami. Perbedaan utamanya ada pada cara masing-masing memperlakukan robots.txt untuk pengambilan langsung atas permintaan pengguna.

Jika Anda menulis satu robots.txt untuk ketiganya, letakkan token pencarian dan pengguna dalam satu grup dan token pelatihan dalam grup lain. Dengan begitu kebijakan tetap mudah dibaca dan jelas pilihan apa yang Anda ambil untuk tiap tujuan.

Haruskah saya memblokir Anthropic berdasarkan alamat IP?

Anthropic menyarankan untuk tidak melakukannya. Dokumentasinya menyebut bahwa memblokir alamat IP mungkin tidak berfungsi dengan benar atau tidak menjamin penolakan secara permanen, karena itu juga membuat crawler tidak bisa membaca robots.txt Anda. Gunakan robots.txt untuk menyatakan kebijakan Anda.

Anthropic memang mempublikasikan alamat IP crawler-nya di claude.com/crawling/bots.json. Cara berguna memakai daftar itu justru kebalikan dari memblokir: biarkan firewall Anda memverifikasi bahwa permintaan yang mengaku sebagai Claude-SearchBot atau Claude-User benar-benar berasal dari Anthropic, lalu loloskan.

Mengapa Claude tetap gagal membaca halaman saya?

Meski robots.txt longgar, firewall atau CDN Anda bisa membalas agen Anthropic dengan 403 atau halaman tantangan. Anthropic menyatakan bot-nya menghormati teknologi anti-pengelakan dan tidak akan mencoba melewati CAPTCHA, sehingga halaman tantangan langsung mengakhiri kunjungan. Halaman yang teksnya baru muncul setelah JavaScript berjalan juga bisa tiba hampir kosong.

AISeeWhy meminta halaman Anda sebagai ClaudeBot, Claude-SearchBot, dan Claude-User berdampingan dengan browser dan memeriksa aturan robots.txt Anda untuk masing-masing, sehingga Anda bisa melihat apakah kebijakan yang Anda tulis sama dengan yang diberlakukan server Anda.

Pertanyaan yang sering diajukan

Apakah memblokir ClaudeBot mengeluarkan situs saya dari jawaban Claude?

Tidak dengan sendirinya. Pengindeksan pencarian dan pengambilan atas permintaan pengguna memakai Claude-SearchBot dan Claude-User, yang punya token robots.txt sendiri.

Apakah Claude-User mengikuti robots.txt?

Anthropic menyatakan bot-nya mematuhi robots.txt dan menjelaskan cara memblokir Claude-User di sana, dengan akibat Claude tidak bisa mengambil halaman Anda untuk pertanyaan pengguna.

Apakah crawler Anthropic akan menyelesaikan CAPTCHA?

Tidak. Anthropic menyatakan bot-nya menghormati teknologi anti-pengelakan dan tidak akan mencoba melewati CAPTCHA.

Bisakah saya memperlambat ClaudeBot alih-alih memblokirnya?

Bisa. Anthropic mendukung Crawl-delay sebagai ekstensi nonstandar, misalnya Crawl-delay: 1 di grup ClaudeBot pada robots.txt Anda.

Bagaimana memverifikasi bahwa suatu permintaan benar-benar berasal dari Anthropic?

Bandingkan IP sumber dengan daftar yang dipublikasikan Anthropic di claude.com/crawling/bots.json. User agent saja bisa disalin oleh siapa pun.

Sumber

Artikel lainnya