Crawler Perplexity: PerplexityBot dan Perplexity-User

Q: Apakah Perplexity memakai konten saya untuk melatih model AI?

Perplexity menyatakan baik PerplexityBot maupun Perplexity-User tidak dipakai untuk mengumpulkan konten guna melatih model fondasi AI.

Dipublikasikan 2026-11-12

Jawaban singkat

Perplexity memakai PerplexityBot untuk memunculkan dan menautkan situs web di hasil pencariannya, dan Perplexity-User untuk mengunjungi halaman ketika pertanyaan pengguna memerlukannya. Perplexity menyatakan PerplexityBot mengikuti robots.txt dan tidak dipakai untuk melatih model fondasi, sedangkan Perplexity-User umumnya mengabaikan robots.txt karena pengambilannya diminta oleh pengguna.

Perplexity dibangun di sekitar kutipan: jawabannya disertai tautan bernomor ke halaman yang menjadi rujukan. Dokumentasi crawler-nya singkat, dan menyatakan dengan jelas agen mana yang mengikuti robots.txt dan mana yang tidak. Perbedaan itu menentukan alat apa yang Anda pakai jika ingin mengendalikan salah satunya.

Di halaman ini

Apa fungsi PerplexityBot?
Apa fungsi Perplexity-User?
Apa yang diatur robots.txt, dan apa yang tidak?
Apa bedanya Perplexity dengan ChatGPT dan Claude?
robots.txt seperti apa yang sebaiknya saya pakai untuk Perplexity?
Bagaimana memastikan firewall tidak memblokir Perplexity?

Apa fungsi PerplexityBot?

PerplexityBot dirancang untuk memunculkan dan menautkan situs web di hasil pencarian Perplexity. Perplexity menyatakan crawler ini tidak dipakai untuk merayapi konten bagi model fondasi AI. Agar muncul di hasil pencarian Perplexity, Perplexity menyarankan mengizinkan PerplexityBot di robots.txt.

Perplexity mendokumentasikan user agent ini:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Nomor versinya bisa berubah, jadi aturan firewall sebaiknya mencocokkan token PerplexityBot. Perplexity mempublikasikan rentang IP-nya di perplexity.ai/perplexitybot.json.

Apa fungsi Perplexity-User?

Perplexity-User mendukung tindakan pengguna. Ketika seseorang bertanya kepada Perplexity, ia mungkin mengunjungi halaman web untuk membantu memberi jawaban yang akurat dan menyertakan tautan ke halaman itu. Perplexity menyatakan agen ini tidak dipakai untuk merayapi web atau mengumpulkan data pelatihan.

User agent yang didokumentasikan adalah Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), dan rentang IP-nya dipublikasikan di perplexity.ai/perplexity-user.json.

Apa yang diatur robots.txt, dan apa yang tidak?

Inilah poin kuncinya. Perplexity menyatakan bahwa karena pengguna meminta pengambilan tersebut, Perplexity-User umumnya mengabaikan aturan robots.txt. Grup robots.txt untuk PerplexityBot memengaruhi pengindeksan untuk pencarian; grup itu tidak andal menghentikan pengambilan langsung atas nama pengguna.

Larang PerplexityBot di robots.txt: halaman Anda tidak dirayapi untuk indeks pencarian Perplexity, sehingga lebih kecil kemungkinannya dimunculkan dan ditautkan.
Larang Perplexity-User di robots.txt: menurut dokumentasi Perplexity, pengambil ini umumnya mengabaikannya, jadi ini bukan kontrol yang dapat diandalkan.
Blokir Perplexity-User di firewall: pengambilan gagal, dan pengguna yang bertanya tentang halaman Anda mendapat jawaban tanpa halaman itu.
Izinkan keduanya: Perplexity bisa mengindeks halaman Anda dan membacanya secara langsung ketika pengguna bertanya.

Perplexity menyatakan setiap pengaturan robots.txt bekerja secara independen, dan perubahan bisa memakan waktu hingga 24 jam untuk tercermin.

Apa bedanya Perplexity dengan ChatGPT dan Claude?

Ketiga vendor memisahkan crawler pencarian dari pengambil atas permintaan pengguna. Dua hal membedakan Perplexity. Pertama, ia tidak menjalankan crawler pelatihan terpisah: ia menyatakan PerplexityBot tidak dipakai untuk merayapi konten bagi model fondasi AI, jadi tidak ada token pelatihan yang perlu diputuskan. Kedua, ia tegas bahwa pengambil milik penggunanya umumnya mengabaikan robots.txt, sedangkan OpenAI menyatakan robots.txt mungkin tidak berlaku untuk ChatGPT-User dan Anthropic menyatakan bot-nya, termasuk Claude-User, mematuhi robots.txt.

Dalam praktiknya ini berarti satu keputusan untuk crawler pencarian Perplexity di robots.txt, dan keputusan di firewall jika suatu saat Anda ingin menghentikan pengambilan atas permintaan pengguna.

robots.txt seperti apa yang sebaiknya saya pakai untuk Perplexity?

Jika Anda ingin dikutip, izinkan crawler pencarian secara eksplisit. Ingat bahwa grup bernama tidak mewarisi aturan dari *, jadi ulangi path privat apa pun:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Karena PerplexityBot bukan crawler pelatihan, memblokirnya untuk menolak pelatihan model akan merugikan visibilitas pencarian Anda tanpa mencapai tujuan itu.

Jika Anda mencantumkan sitemap di robots.txt, letakkan baris Sitemap: di luar grup mana pun atau di akhir file; baris itu berlaku untuk semua crawler. Pastikan juga sitemap itu sendiri tidak diblokir firewall Anda, karena crawler yang tidak bisa mengambilnya tidak bisa memakainya untuk menemukan halaman baru atau yang berubah.

Bagaimana memastikan firewall tidak memblokir Perplexity?

Perlindungan bot sering menganggap setiap permintaan non-browser mencurigakan. Minta halaman Anda dengan setiap user agent Perplexity dan bandingkan responsnya dengan permintaan browser. Jika crawler mendapat 403, 429, atau halaman tantangan, tambahkan aturan izin yang mencocokkan token dan, idealnya, rentang IP yang dipublikasikan, sehingga hanya lalu lintas Perplexity yang asli yang lolos. Di Cloudflare, AI Crawl Control mendaftar crawler AI dengan tindakan Allow atau Block untuk masing-masing.

Verifikasi, jangan hanya memercayai user agent. Siapa pun bisa mengirim permintaan yang mengaku PerplexityBot, jadi aturan izin yang hanya berdasarkan user agent juga meloloskan peniru, dan blokir berdasarkan user agent bisa dielakkan. Mencocokkan IP sumber dengan daftar yang dipublikasikan Perplexity membuat kedua jenis aturan itu andal.

AISeeWhy menguji PerplexityBot dan Perplexity-User bersama 12 crawler lain. Karena keduanya menentukan apakah Perplexity bisa memakai halaman Anda dalam jawaban, blokir salah satunya dilaporkan sebagai P1, lengkap dengan aturan untuk memperbaikinya.

Pertanyaan yang sering diajukan

Apakah Perplexity memakai konten saya untuk melatih model AI?

Perplexity menyatakan baik PerplexityBot maupun Perplexity-User tidak dipakai untuk mengumpulkan konten guna melatih model fondasi AI.

Mengapa Perplexity-User mengabaikan robots.txt?

Alasan Perplexity adalah bahwa pengguna meminta halaman itu, sehingga pengambilan bertindak atas nama pengguna tersebut, bukan sebagai perayapan otomatis. Dokumentasinya menyatakan pengambil ini umumnya mengabaikan robots.txt karena alasan itu.

Bagaimana memblokir Perplexity-User jika perlu?

Gunakan firewall atau CDN Anda, dengan mencocokkan token user agent dan rentang IP yang dipublikasikan Perplexity. robots.txt bukan kontrol yang dapat diandalkan untuk agen ini.

Berapa lama perubahan robots.txt berlaku?

Perplexity menyatakan sistemnya bisa memerlukan hingga 24 jam untuk mencerminkan perubahan.

Apakah memblokir PerplexityBot menghentikan Perplexity memakai konten saya sama sekali?

Tidak. Ini menjauhkan halaman Anda dari perayapan untuk indeks pencarian Perplexity, tetapi Perplexity-User tetap bisa mengambil halaman ketika pengguna menanyakannya, karena pengambil itu umumnya mengabaikan robots.txt.