AISeeWhy
MS
Mulakan percubaan percuma

Crawler Anthropic: ClaudeBot, Claude-SearchBot dan Claude-User

Diterbitkan

Jawapan ringkas

Anthropic menjalankan tiga ejen: ClaudeBot mengumpul kandungan yang mungkin digunakan untuk melatih modelnya, Claude-SearchBot menjelajah untuk memperbaik hasil carian Claude, dan Claude-User mengambil halaman apabila soalan pengguna Claude memerlukannya. Setiap satu mempunyai token robots.txt sendiri, dan Anthropic menyatakan ketiga-tiganya mematuhi robots.txt. Menyekat ClaudeBot sahaja tidak menghentikan carian atau pengambilan oleh pengguna.

Anthropic mendokumentasikan crawler-nya pada satu halaman bantuan, dan strukturnya menyerupai vendor AI lain: satu ejen untuk latihan, satu untuk carian dan satu untuk pengambilan langsung bagi pihak pengguna. Jika anda mahu Claude dapat menemui dan memetik halaman anda, dua yang terakhir paling penting.

Dalam halaman ini
  1. Apakah fungsi ClaudeBot?
  2. Apakah fungsi Claude-SearchBot?
  3. Apakah fungsi Claude-User?
  4. Bagaimana menulis peraturan robots.txt untuk Claude?
  5. Bagaimana persediaan Anthropic berbanding OpenAI dan Perplexity?
  6. Patutkah saya menyekat Anthropic mengikut alamat IP?
  7. Mengapa Claude masih gagal membaca halaman saya?

Apakah fungsi ClaudeBot?

ClaudeBot mengumpul kandungan web yang boleh menyumbang kepada latihan model AI generatif Anthropic. Menurut Anthropic, melarangnya menandakan bahawa kandungan masa depan laman anda patut dikecualikan daripada set data latihan.

Anthropic juga menyatakan ia mematuhi isyarat tanpa-latihan-AI yang boleh dibaca mesin berdasarkan draf IETF, dan bahawa peraturan yang menamakan ClaudeBot dalam robots.txt diutamakan berbanding tetapan umum itu. Seperti crawler latihan lain, menyekatnya ialah pilihan dasar.

Apakah fungsi Claude-SearchBot?

Claude-SearchBot menjelajah web untuk memperbaik perkaitan dan ketepatan hasil carian dalam Claude. Anthropic menyatakan menyekatnya menghalang kandungan anda daripada diindeks untuk carian, yang mungkin mengurangkan keterlihatan dan ketepatan anda dalam hasil carian pengguna.

Inilah ejen yang perlu dibenarkan jika anda mahu ciri carian Claude mengenali halaman anda sebelum sesiapa bertanya tentangnya. Kerana ia crawler carian, ia mendapat manfaat daripada perkara yang sama seperti mana-mana crawler carian: sitemap yang disenaraikan dalam robots.txt, pautan dalaman yang bersih dan halaman yang memulangkan kandungannya dalam respons pertama.

Apakah fungsi Claude-User?

Claude-User mengakses laman web apabila pengguna Claude bertanya soalan yang memerlukannya, contohnya apabila seseorang berkongsi URL atau meminta Claude mencari sesuatu. Anthropic menyatakan menyekatnya menghalang pengambilan sebagai respons kepada pertanyaan pengguna, yang mungkin mengurangkan keterlihatan anda dalam carian web yang diarahkan pengguna.

Perhatikan perbezaan daripada sesetengah vendor lain. Anthropic menyatakan bot-nya mematuhi arahan robots.txt, dan menerangkan cara menyekat Claude-User melalui robots.txt. OpenAI dan Perplexity pula menyatakan pengambil atas permintaan pengguna mereka mungkin tidak mengikuti robots.txt.

Bagaimana menulis peraturan robots.txt untuk Claude?

Setiap ejen mempunyai token sendiri, dan kumpulan yang menamakan sesebuah crawler menggantikan kumpulan * untuk crawler itu di bawah RFC 9309. Pilihan lazim ialah membenarkan carian dan pengambilan oleh pengguna serta menolak latihan:

User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

Anthropic juga menyokong Crawl-delay sebagai lanjutan tidak standard, contohnya Crawl-delay: 1 di bawah User-agent: ClaudeBot, jika anda mahu memperlahankan penjelajahan dan bukannya menyekatnya. Peraturan mesti berada dalam robots.txt pada direktori peringkat atas setiap hos, jadi tambahkannya pada setiap subdomain yang ingin anda liputi.

Bagaimana persediaan Anthropic berbanding OpenAI dan Perplexity?

Ketiga-tiga vendor mengikut corak yang sama dengan nama berbeza, yang menjadikan robots.txt gabungan mudah difahami. Perbezaan utamanya ialah cara setiap satu melayan robots.txt untuk pengambilan langsung atas permintaan pengguna.

Jika anda menulis satu robots.txt untuk ketiga-tiganya, letakkan token carian dan pengguna dalam satu kumpulan dan token latihan dalam kumpulan lain. Dengan itu dasar kekal mudah dibaca dan jelas pilihan yang anda buat untuk setiap tujuan.

Patutkah saya menyekat Anthropic mengikut alamat IP?

Anthropic menasihatkan supaya tidak berbuat demikian. Dokumentasinya menyatakan bahawa menyekat alamat IP mungkin tidak berfungsi dengan betul atau tidak menjamin penolakan secara berterusan, kerana ia juga menghalang crawler membaca robots.txt anda. Gunakan robots.txt untuk menyatakan dasar anda.

Anthropic menerbitkan alamat IP crawler-nya di claude.com/crawling/bots.json. Cara berguna menggunakan senarai itu adalah bertentangan dengan menyekat: biarkan firewall anda mengesahkan bahawa permintaan yang mengaku sebagai Claude-SearchBot atau Claude-User benar-benar datang daripada Anthropic, dan benarkan ia masuk.

Mengapa Claude masih gagal membaca halaman saya?

Walaupun robots.txt longgar, firewall atau CDN anda boleh membalas ejen Anthropic dengan 403 atau halaman cabaran. Anthropic menyatakan bot-nya menghormati teknologi anti-pengelakan dan tidak akan cuba memintas CAPTCHA, jadi halaman cabaran terus menamatkan lawatan. Halaman yang teksnya hanya muncul selepas JavaScript berjalan juga boleh tiba hampir kosong.

AISeeWhy meminta halaman anda sebagai ClaudeBot, Claude-SearchBot dan Claude-User di samping pelayar dan menyemak peraturan robots.txt anda untuk setiap satu, supaya anda dapat melihat sama ada dasar yang anda tulis ialah dasar yang dikuatkuasakan pelayan anda.

Soalan lazim

Adakah menyekat ClaudeBot mengeluarkan laman saya daripada jawapan Claude?

Tidak dengan sendirinya. Pengindeksan carian dan pengambilan atas permintaan pengguna menggunakan Claude-SearchBot dan Claude-User, yang mempunyai token robots.txt sendiri.

Adakah Claude-User mengikut robots.txt?

Anthropic menyatakan bot-nya mematuhi robots.txt dan menerangkan cara menyekat Claude-User di situ, dengan kesan Claude tidak dapat mengambil halaman anda untuk soalan pengguna.

Adakah crawler Anthropic akan menyelesaikan CAPTCHA?

Tidak. Anthropic menyatakan bot-nya menghormati teknologi anti-pengelakan dan tidak akan cuba memintas CAPTCHA.

Bolehkah saya memperlahankan ClaudeBot dan bukannya menyekatnya?

Boleh. Anthropic menyokong Crawl-delay sebagai lanjutan tidak standard, contohnya Crawl-delay: 1 dalam kumpulan ClaudeBot pada robots.txt anda.

Bagaimana saya boleh mengesahkan bahawa sesuatu permintaan benar-benar datang daripada Anthropic?

Bandingkan IP sumber dengan senarai yang diterbitkan Anthropic di claude.com/crawling/bots.json. User agent sahaja boleh disalin oleh sesiapa.

Sumber

Artikel lain