AISeeWhy
MS
Mulakan percubaan percuma

Mengapa laman web saya tidak muncul dalam Perplexity?

Diterbitkan

Jawapan ringkas

Perplexity hanya boleh memaparkan dan memaut halaman yang PerplexityBot dibenarkan menjelajah dan benar-benar menerimanya. Puncanya yang lazim ialah peraturan robots.txt yang melarang PerplexityBot, firewall atau CDN yang membalasnya dengan 403 atau halaman cabaran, dan teks yang hanya muncul selepas JavaScript dijalankan. Semak ketiga-tiganya, kemudian benarkan julat IP yang diterbitkan Perplexity.

Anda bertanya kepada Perplexity tentang produk anda, tetapi yang dipetik ialah pesaing, laman ulasan atau urutan forum, bukan halaman anda sendiri. Kadangkala itu soal kerelevanan. Selalunya ia sekatan teknikal yang boleh dikesan dalam beberapa minit. Perplexity mendokumentasikan ejen yang digunakannya, fungsi setiap satu dan asal trafiknya, jadi setiap mata rantai boleh disemak: robots.txt, respons yang dihantar oleh pelayan anda, dan kandungan respons itu.

Dalam halaman ini
  1. Bagaimanakah Perplexity mencari dan membaca halaman?
  2. Adakah robots.txt anda menyekat PerplexityBot?
  3. Adakah firewall atau CDN anda menyekat Perplexity?
  4. Bagaimanakah saya membenarkan Perplexity melalui julat IP yang diterbitkannya?
  5. Bolehkah rendering JavaScript menghalang Perplexity daripada membaca halaman?
  6. Bagaimana jika semuanya terbuka tetapi laman saya masih tidak muncul?

Bagaimanakah Perplexity mencari dan membaca halaman?

Perplexity mendokumentasikan dua ejen. Tugas mereka berbeza, dan masalah pada mana-mana satu boleh menyebabkan halaman anda tiada dalam jawapan.

Dalam praktiknya, PerplexityBot menentukan sama ada Perplexity mengetahui halaman anda sebelum sesiapa bertanya, dan Perplexity-User menentukan sama ada ia boleh membuka halaman secara langsung apabila sesuatu soalan memerlukannya. Jika anda mahu dipetik, kedua-duanya patut menerima halaman yang sama seperti yang diterima pelayar.

Adakah robots.txt anda menyekat PerplexityBot?

Buka https://yourdomain.com/robots.txt dan cari kumpulan yang menamakan PerplexityBot. Jika tiada, crawler itu mengikut kumpulan User-agent: *. Menurut RFC 9309, pemadanan tidak sensitif huruf besar-kecil, dan kumpulan yang dinamakan menggantikan kumpulan * sepenuhnya, bukan menambah kepadanya.

Sekatan ini lazim. Dalam kajian kami terhadap fail robots.txt bagi 1,000 domain paling popular, 86 daripada 518 laman yang menyediakan robots.txt (16.6%) melarang halaman utama bagi PerplexityBot. Itu bahagian tertinggi antara semua crawler carian AI yang kami uji; OAI-SearchBot disekat di 58 laman (11.2%). Sesetengah laman ini mungkin bertujuan menghalang latihan AI, tetapi Perplexity menyatakan PerplexityBot bukan crawler latihan, jadi menyekatnya mengorbankan keterlihatan carian tanpa mencapai matlamat itu.

Tetapan yang membenarkan Perplexity masuk dan mengekalkan kawasan persendirian tertutup kelihatan seperti ini:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Semak juga bahawa fail itu sendiri memberi respons yang betul. Jika robots.txt memulangkan ralat pelayan, RFC 9309 menyatakan crawler mesti menganggap seluruh laman dilarang. Alamat robots.txt yang memulangkan halaman HTML dengan status 200 tidak mengandungi peraturan yang sah. Perplexity menyatakan perubahan boleh mengambil masa sehingga 24 jam untuk dicerminkan.

Adakah firewall atau CDN anda menyekat Perplexity?

robots.txt ialah permintaan, bukan kawalan akses. Firewall, CDN atau perlindungan bot anda yang menentukan apa yang sebenarnya dihantar balik, dan ia boleh membalas Perplexity dengan 403, 429 atau halaman cabaran sementara lawatan anda sendiri melalui pelayar kelihatan normal. Dokumentasi Perplexity menyatakan bahawa laman di belakang web application firewall mungkin perlu membenarkan bot-nya secara eksplisit.

Uji dengan meminta URL yang sama sebagai pelayar dan sebagai setiap ejen Perplexity, kemudian bandingkan status dan saiz:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

403, 429 atau 503 untuk ejen Perplexity sahaja, halaman bertajuk Just a moment..., atau respons 200 yang jauh lebih kecil daripada respons pelayar, semuanya menunjuk kepada firewall. Ujian ini datang daripada alamat IP anda, bukan IP Perplexity, jadi ia hanya menunjukkan bagaimana peraturan anda melayan user agent; peraturan berasaskan IP mungkin masih berbeza untuk crawler sebenar.

Jika anda menggunakan Cloudflare, perhatikan dua perkara. Dokumentasi Perplexity mengulangi kenyataan Cloudflare sendiri bahawa Bot Fight Mode tidak boleh dilangkau dengan peraturan tersuai WAF, jadi jika ciri itu mencabar Perplexity, peraturan benarkan tidak akan membantu. Dan pada Ogos 2025 Cloudflare menyatakan ia telah mengeluarkan Perplexity daripada senarai bot disahkannya selepas memerhatikan apa yang digambarkannya sebagai penjelajahan tanpa pengisytiharan; Perplexity menolak penerangan itu. Peraturan yang hanya membenarkan bot yang disahkan mungkin tidak meliputi Perplexity. Semak status semasa dalam papan pemuka anda dan jangan membuat andaian.

Bagaimanakah saya membenarkan Perplexity melalui julat IP yang diterbitkannya?

Sesiapa sahaja boleh menghantar permintaan yang mendakwa sebagai PerplexityBot, jadi peraturan benarkan yang hanya memadankan user agent turut membenarkan peniru. Perplexity menerbitkan julat alamat kedua-dua ejen dan mengesyorkan memadankan user agent dan alamat IP bersama-sama:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity menyatakan senarai ini dikemas kini dengan kerap dan mencadangkan agar kemas kini peraturan WAF anda diautomasikan. Letakkan peraturan benarkan di atas sebarang peraturan yang menyekat atau mencabar permintaan: yang pertama dalam peraturan tersuai Cloudflare, atau dengan nombor keutamaan lebih rendah dalam AWS WAF. Kemudian pantau log anda, kerana perubahan firewall boleh mengambil masa untuk tersebar.

Bolehkah rendering JavaScript menghalang Perplexity daripada membaca halaman?

Boleh. Dokumentasi crawler Perplexity tidak menyatakan sama ada ejennya menjalankan JavaScript, jadi andaian yang selamat ialah teks yang diperlukan crawler patut berada dalam HTML yang dihantar pelayan. Halaman yang dibina sepenuhnya dalam pelayar, seperti aplikasi satu halaman tanpa server rendering, boleh tiba sebagai cangkerang kosong dengan ikon memuatkan.

Semakan pantas ialah mengambil halaman dengan curl dan mencari satu ayat daripada kandungan utama anda dalam outputnya. Jika tiada, teks itu ditambah oleh skrip. Server-side rendering, penjanaan statik atau prerendering untuk crawler menyelesaikan masalah ini bagi semua crawler AI sekali gus, bukan Perplexity sahaja.

Bagaimana jika semuanya terbuka tetapi laman saya masih tidak muncul?

Boleh dibaca ialah prasyarat, bukan jaminan. Perplexity tidak menerbitkan cara ia memilih sumber untuk dipetik, jadi halaman yang boleh dibaca oleh setiap ejen masih boleh kalah kepada halaman yang menjawab soalan dengan lebih terus. Apa yang boleh anda kawal ialah memastikan tiada halangan teknikal: tajuk halaman yang jelas, jawapan dinyatakan awal dalam teks, dan fakta tepat yang sepadan dengan apa yang anda katakan di tempat lain.

Ingat juga perkara yang tidak dilindungi robots.txt. Perplexity menyatakan Perplexity-User umumnya mengabaikan robots.txt kerana pengguna meminta pengambilan itu. Peraturan untuk Perplexity-User oleh itu bukan cara yang boleh diharapkan untuk menyekat lawatan langsung, dan robots.txt yang membenarkannya bukan bukti bahawa ia lepas melalui firewall anda.

AISeeWhy meminta halaman anda sebagai PerplexityBot, Perplexity-User dan 12 crawler lain di samping pelayar, menggunakan peraturan robots.txt anda bagi setiap satu, mengenali halaman cabaran dan menunjukkan berapa banyak teks yang tiba tanpa JavaScript, supaya anda dapat melihat mata rantai mana yang gagal.

Soalan lazim

Adakah Perplexity melatih modelnya menggunakan kandungan saya?

Perplexity menyatakan PerplexityBot tidak digunakan untuk menjelajah kandungan bagi model asas AI dan Perplexity-User tidak mengumpul kandungan untuk latihan. Melarang PerplexityBot oleh itu tidak berfungsi sebagai pilihan keluar daripada latihan; ia hanya mengurangkan keterlihatan anda dalam hasil carian Perplexity.

Berapa lama selepas saya membetulkan robots.txt barulah Perplexity menyedarinya?

Perplexity menyatakan sistemnya mungkin mengambil masa sehingga 24 jam untuk mencerminkan perubahan robots.txt. Perubahan firewall berkuat kuasa apabila penyedia anda menggunakannya, tetapi beri masa kepada crawler untuk kembali sebelum menilai hasilnya.

Bolehkah saya menyekat Perplexity-User dengan robots.txt?

Tidak dengan boleh diharapkan. Perplexity menyatakan pengambil ini umumnya mengabaikan robots.txt kerana pengguna meminta pengambilan itu. Jika anda perlu menghentikannya, peraturan firewall yang dipadankan dengan julat IP yang diterbitkannya ialah kawalan yang boleh diharapkan.

Adakah semakan user agent mencukupi untuk mengenal pasti trafik Perplexity?

Tidak. User agent mudah ditiru. Bandingkan IP sumber dengan julat yang diterbitkan Perplexity dalam perplexitybot.json dan perplexity-user.json, dan padankan user agent serta IP bersama-sama dalam peraturan firewall.

Sumber

Artikel lain