Crawler Perplexity: PerplexityBot dan Perplexity-User

Q: Adakah Perplexity menggunakan kandungan saya untuk melatih model AI?

Perplexity menyatakan sama ada PerplexityBot mahupun Perplexity-User tidak digunakan untuk mengumpul kandungan bagi melatih model asas AI.

Diterbitkan 2026-11-12

Jawapan ringkas

Perplexity menggunakan PerplexityBot untuk memaparkan dan memaut laman web dalam hasil carian, dan Perplexity-User untuk melawat halaman apabila soalan pengguna memerlukannya. Perplexity menyatakan PerplexityBot mengikut robots.txt dan tidak digunakan untuk melatih model asas, manakala Perplexity-User umumnya mengabaikan robots.txt kerana pengambilan itu diminta oleh pengguna.

Perplexity dibina berasaskan petikan: jawapannya disertakan pautan bernombor ke halaman yang dirujuk. Dokumentasi crawler-nya ringkas, dan menyatakan dengan jelas ejen mana yang mengikut robots.txt dan mana yang tidak. Perbezaan itu menentukan alat yang anda gunakan jika mahu mengawal salah satunya.

Dalam halaman ini

Apakah fungsi PerplexityBot?
Apakah fungsi Perplexity-User?
Apa yang dikawal robots.txt, dan apa yang tidak?
Apakah perbezaan Perplexity daripada ChatGPT dan Claude?
Apakah robots.txt yang patut saya gunakan untuk Perplexity?
Bagaimana saya memastikan firewall tidak menyekat Perplexity?

Apakah fungsi PerplexityBot?

PerplexityBot direka untuk memaparkan dan memaut laman web dalam hasil carian Perplexity. Perplexity menyatakan ia tidak digunakan untuk menjelajah kandungan bagi model asas AI. Untuk muncul dalam hasil carian Perplexity, Perplexity mengesyorkan membenarkan PerplexityBot dalam robots.txt.

Perplexity mendokumentasikan user agent ini:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Nombor versi mungkin berubah, jadi peraturan firewall patut memadankan token PerplexityBot. Perplexity menerbitkan julat IP di perplexity.ai/perplexitybot.json.

Apakah fungsi Perplexity-User?

Perplexity-User menyokong tindakan pengguna. Apabila seseorang bertanya kepada Perplexity, ia mungkin melawat halaman web untuk membantu memberi jawapan yang tepat dan menyertakan pautan ke halaman itu. Perplexity menyatakan ia tidak digunakan untuk menjelajah web atau mengumpul data latihan.

User agent yang didokumentasikan ialah Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), dan julat IP-nya diterbitkan di perplexity.ai/perplexity-user.json.

Apa yang dikawal robots.txt, dan apa yang tidak?

Inilah perkara pokok. Perplexity menyatakan bahawa kerana pengguna meminta pengambilan itu, Perplexity-User umumnya mengabaikan peraturan robots.txt. Kumpulan robots.txt untuk PerplexityBot memberi kesan kepada pengindeksan untuk carian; ia tidak menghentikan dengan boleh diharapkan pengambilan langsung bagi pihak pengguna.

Larang PerplexityBot dalam robots.txt: halaman anda tidak dijelajah untuk indeks carian Perplexity, jadi kurang berkemungkinan dipaparkan dan dipaut.
Larang Perplexity-User dalam robots.txt: menurut dokumentasi Perplexity, pengambil ini umumnya mengabaikannya, jadi ia bukan kawalan yang boleh diharapkan.
Sekat Perplexity-User di firewall: pengambilan gagal, dan pengguna yang bertanya tentang halaman anda mendapat jawapan tanpanya.
Benarkan kedua-duanya: Perplexity boleh mengindeks halaman anda dan membacanya secara langsung apabila pengguna bertanya.

Perplexity menyatakan setiap tetapan robots.txt berfungsi secara bebas, dan perubahan mungkin mengambil masa sehingga 24 jam untuk dicerminkan.

Apakah perbezaan Perplexity daripada ChatGPT dan Claude?

Ketiga-tiga vendor mengasingkan crawler carian daripada pengambil atas permintaan pengguna. Dua perkara membezakan Perplexity. Pertama, ia tidak menjalankan crawler latihan yang berasingan: ia menyatakan PerplexityBot tidak digunakan untuk menjelajah kandungan bagi model asas AI, jadi tiada token latihan untuk diputuskan. Kedua, ia jelas bahawa pengambil penggunanya umumnya mengabaikan robots.txt, sedangkan OpenAI menyatakan robots.txt mungkin tidak terpakai untuk ChatGPT-User dan Anthropic menyatakan bot-nya, termasuk Claude-User, mematuhi robots.txt.

Dalam praktik ini bermakna satu keputusan untuk crawler carian Perplexity dalam robots.txt, dan keputusan di firewall jika anda pernah mahu menghentikan pengambilan atas permintaan pengguna.

Apakah robots.txt yang patut saya gunakan untuk Perplexity?

Jika anda mahu dipetik, benarkan crawler carian secara eksplisit. Ingat bahawa kumpulan yang dinamakan tidak mewarisi peraturan daripada *, jadi ulangi sebarang laluan peribadi:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Oleh kerana PerplexityBot bukan crawler latihan, menyekatnya untuk menolak latihan model akan merugikan keterlihatan carian anda tanpa mencapai matlamat itu.

Jika anda menyenaraikan sitemap dalam robots.txt, letakkan baris Sitemap: di luar mana-mana kumpulan atau di hujung fail; ia terpakai kepada semua crawler. Pastikan juga sitemap itu sendiri tidak disekat oleh firewall anda, kerana crawler yang tidak dapat mengambilnya tidak boleh menggunakannya untuk menemui halaman baharu atau yang berubah.

Bagaimana saya memastikan firewall tidak menyekat Perplexity?

Perlindungan bot sering menganggap setiap permintaan bukan pelayar sebagai mencurigakan. Minta halaman anda dengan setiap user agent Perplexity dan bandingkan responsnya dengan permintaan pelayar. Jika crawler mendapat 403, 429 atau halaman cabaran, tambah peraturan benar yang memadankan token dan, sebaik-baiknya, julat IP yang diterbitkan, supaya hanya trafik Perplexity yang sebenar lulus. Dalam Cloudflare, AI Crawl Control menyenaraikan crawler AI dengan tindakan Allow atau Block untuk setiap satu.

Sahkan, jangan hanya percaya user agent. Sesiapa boleh menghantar permintaan yang mengaku PerplexityBot, jadi peraturan benar berdasarkan user agent sahaja turut membenarkan peniru, dan sekatan berdasarkannya boleh dielakkan. Memadankan IP sumber dengan senarai yang diterbitkan Perplexity menjadikan kedua-dua jenis peraturan itu boleh diharapkan.

AISeeWhy menguji PerplexityBot dan Perplexity-User bersama 12 crawler lain. Oleh kerana kedua-duanya menentukan sama ada Perplexity boleh menggunakan halaman anda dalam jawapan, sekatan mana-mana satu dilaporkan sebagai P1, lengkap dengan peraturan untuk membetulkannya.

Soalan lazim

Adakah Perplexity menggunakan kandungan saya untuk melatih model AI?

Perplexity menyatakan sama ada PerplexityBot mahupun Perplexity-User tidak digunakan untuk mengumpul kandungan bagi melatih model asas AI.

Mengapa Perplexity-User mengabaikan robots.txt?

Alasan Perplexity ialah pengguna meminta halaman itu, jadi pengambilan bertindak bagi pihak pengguna tersebut dan bukan sebagai penjelajahan automatik. Dokumentasinya menyatakan pengambil ini umumnya mengabaikan robots.txt atas sebab itu.

Bagaimana saya boleh menyekat Perplexity-User jika perlu?

Gunakan firewall atau CDN anda, dengan memadankan token user agent dan julat IP yang diterbitkan Perplexity. robots.txt bukan kawalan yang boleh diharapkan untuk ejen ini.

Berapa lama perubahan robots.txt mengambil masa untuk berkuat kuasa?

Perplexity menyatakan sistemnya mungkin mengambil masa sehingga 24 jam untuk mencerminkan perubahan.

Adakah menyekat PerplexityBot menghentikan Perplexity daripada menggunakan kandungan saya langsung?

Tidak. Ia mengekalkan halaman anda di luar penjelajahan untuk indeks carian Perplexity, tetapi Perplexity-User masih boleh mengambil halaman apabila pengguna bertanya tentangnya, kerana pengambil itu umumnya mengabaikan robots.txt.