AISeeWhy
AR
ابدأ التجربة المجانية

لماذا لا يظهر موقعي في Perplexity؟

تاريخ النشر

الإجابة المختصرة

لا تستطيع Perplexity عرض الصفحات والربط بها إلا إذا كان مسموحاً للزاحف PerplexityBot بزحفها وكان يتلقاها فعلاً. والأسباب المعتادة ثلاثة: قاعدة في robots.txt تمنع PerplexityBot، أو جدار حماية أو شبكة CDN يردّ عليه بالرمز 403 أو بصفحة تحدٍّ، أو نص لا يظهر إلا بعد تشغيل JavaScript. افحص الأسباب الثلاثة، ثم اسمح بنطاقات IP التي تنشرها Perplexity.

تسأل Perplexity عن منتجك، فتستشهد بمنافس أو بموقع مراجعات أو بنقاش في منتدى، ولا تذكر صفحاتك أبداً. أحياناً يكون السبب مسألة صلة بالموضوع، لكنه في كثير من الأحيان حاجز تقني يمكن اكتشافه في دقائق. توثّق Perplexity الوكلاء الذين تستخدمهم، ووظيفة كل منهم، ومصدر حركة المرور، ولذلك يمكن فحص كل حلقة في السلسلة: ملف robots.txt، والاستجابة التي يرسلها خادمك، والمحتوى الموجود في هذه الاستجابة.

في هذه الصفحة
  1. كيف تعثر Perplexity على الصفحات وتقرؤها؟
  2. هل يمنع ملف robots.txt الزاحف PerplexityBot؟
  3. هل يمنع جدار الحماية أو شبكة CDN وصول Perplexity؟
  4. كيف أسمح لـ Perplexity بحسب نطاقات IP المنشورة؟
  5. هل يمكن أن يمنع عرض JavaScript قراءة Perplexity للصفحة؟
  6. ماذا لو كان كل شيء مفتوحاً ولا يزال موقعي لا يظهر؟

كيف تعثر Perplexity على الصفحات وتقرؤها؟

توثّق Perplexity وكيلين. لكل منهما وظيفة مختلفة، ومشكلة في أيٍّ منهما قد تُبقي صفحتك خارج الإجابة.

عملياً، يحدد PerplexityBot ما إذا كانت Perplexity تعرف صفحاتك قبل أن يسأل أحد، ويحدد Perplexity-User ما إذا كان بإمكانها فتح صفحة مباشرةً عندما يتطلب السؤال ذلك. وإذا أردت أن يُستشهد بك، فينبغي أن يحصل كلاهما على الصفحة نفسها التي يحصل عليها المتصفح.

هل يمنع ملف robots.txt الزاحف PerplexityBot؟

افتح https://yourdomain.com/robots.txt وابحث عن مجموعة تذكر PerplexityBot. وإن لم توجد، فإن الزاحف يتبع مجموعة User-agent: *. وبحسب RFC 9309، لا يراعي المطابقة حالة الأحرف، وتحلّ المجموعة المسماة محل مجموعة * بالكامل ولا تُضاف إليها.

هذا المنع شائع. ففي دراستنا لملفات robots.txt لأكثر 1000 نطاق شعبية، منعت 86 من 518 موقعاً قدّمت ملف robots.txt (16.6%) الصفحة الرئيسية على PerplexityBot. وكانت هذه أعلى نسبة بين زواحف بحث الذكاء الاصطناعي التي اختبرناها؛ أما OAI-SearchBot فكان ممنوعاً في 58 موقعاً (11.2%). وربما قصدت بعض هذه المواقع إيقاف تدريب الذكاء الاصطناعي، لكن Perplexity تقول إن PerplexityBot ليس زاحف تدريب، فمنعه يكلّف الظهور في البحث دون أن يخدم هذا الهدف.

إعداد يسمح لـ Perplexity بالدخول ويُبقي منطقة خاصة مغلقة يبدو هكذا:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

تحقق أيضاً من أن الملف نفسه يستجيب بشكل صحيح. إذا أعاد robots.txt خطأً من الخادم، فإن RFC 9309 تنص على أن الزاحف يجب أن يفترض أن الموقع كله ممنوع. أما عنوان robots.txt الذي يعيد صفحة HTML بالحالة 200 فلا يحتوي على قواعد صالحة. وتقول Perplexity إن التغييرات قد تستغرق حتى 24 ساعة لتنعكس.

هل يمنع جدار الحماية أو شبكة CDN وصول Perplexity؟

ملف robots.txt طلب وليس ضبطاً للوصول. فجدار الحماية أو شبكة CDN أو نظام الحماية من الروبوتات هو الذي يحدد ما يُرسَل فعلاً، وقد يردّ على Perplexity بالرمز 403 أو 429 أو بصفحة تحدٍّ بينما تبدو زياراتك أنت من المتصفح طبيعية. وتذكر وثائق Perplexity أن المواقع الواقعة خلف جدار حماية لتطبيقات الويب (WAF) قد تحتاج إلى السماح لروبوتاتها صراحةً.

اختبر ذلك بطلب العنوان نفسه كمتصفح وكل وكيل من وكلاء Perplexity، ثم قارن الحالة والحجم:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

إذا ظهر 403 أو 429 أو 503 لوكلاء Perplexity وحدهم، أو صفحة بعنوان Just a moment...، أو استجابة 200 أصغر بكثير من استجابة المتصفح، فكلها تشير إلى جدار الحماية. يأتي هذا الاختبار من عنوان IP الخاص بك لا من عناوين Perplexity، فهو يبيّن كيف تعامل قواعدك وكيل المستخدم؛ وقد تختلف القواعد المبنية على IP مع الزاحف الحقيقي.

إذا كنت تستخدم Cloudflare فانتبه إلى أمرين. الأول أن وثائق Perplexity تكرر ما تقوله Cloudflare نفسها من أن وضع Bot Fight Mode لا يمكن تجاوزه بقواعد WAF المخصصة، فإذا كانت هذه الميزة تطرح تحدياً على Perplexity فلن تفيد قاعدة السماح. والثاني أن Cloudflare قالت في أغسطس 2025 إنها أزالت Perplexity من قائمة الروبوتات الموثقة بعد ملاحظة ما وصفته بزحف غير معلن، بينما نازعت Perplexity في هذا الوصف. ولذلك قد لا تشمل القواعد التي تسمح بالروبوتات الموثقة فقط Perplexity. تحقق من الحالة الحالية في لوحة التحكم بدلاً من افتراضها.

كيف أسمح لـ Perplexity بحسب نطاقات IP المنشورة؟

يستطيع أي طرف إرسال طلب يزعم أنه PerplexityBot، ولذلك فإن قاعدة السماح التي تطابق وكيل المستخدم فقط تُدخل المنتحلين أيضاً. تنشر Perplexity نطاقات عناوين الوكيلين وتوصي بمطابقة وكيل المستخدم وعنوان IP معاً:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

تقول Perplexity إن هذه القوائم تُحدَّث بانتظام، وتقترح أتمتة تحديث قواعد WAF لديك. ضع قاعدة السماح فوق أي قاعدة تحظر الطلبات أو تطرح عليها تحدياً: في أول قواعد Cloudflare المخصصة، أو برقم أولوية أقل في AWS WAF. ثم راقب السجلات، لأن تغييرات جدار الحماية قد تستغرق وقتاً لتنتشر.

هل يمكن أن يمنع عرض JavaScript قراءة Perplexity للصفحة؟

نعم، يمكن. فوثائق زواحف Perplexity لا تذكر هل ينفّذ وكلاؤها JavaScript، ولذلك فالافتراض الآمن أن النص الذي يحتاجه الزاحف ينبغي أن يكون في HTML الذي يرسله الخادم. فالصفحات التي تُبنى بالكامل في المتصفح، مثل تطبيقات الصفحة الواحدة بلا عرض من جهة الخادم، قد تصل هيكلاً فارغاً مع مؤشر تحميل.

فحص سريع: اجلب الصفحة بـ curl وابحث في الناتج عن جملة من المحتوى الرئيسي. إذا لم تكن موجودة فالنص تضيفه السكربتات. والعرض من جهة الخادم أو التوليد الثابت أو العرض المسبق للزواحف يحل المشكلة لكل زواحف الذكاء الاصطناعي دفعة واحدة، لا لـ Perplexity وحدها.

ماذا لو كان كل شيء مفتوحاً ولا يزال موقعي لا يظهر؟

إمكانية القراءة شرط مسبق وليست ضماناً. فـ Perplexity لا تنشر كيف تختار المصادر التي تستشهد بها، ولذلك قد تخسر صفحة يستطيع كل وكيل قراءتها أمام صفحات تجيب عن السؤال بشكل أكثر مباشرة. ما تتحكم فيه هو ألا يقف شيء تقني في الطريق: عنوان صفحة واضح، وإجابة تُذكر مبكراً في النص، ومعلومات دقيقة تتطابق مع ما تقوله في أماكن أخرى.

وتذكّر أيضاً ما لا يغطيه robots.txt. تقول Perplexity إن Perplexity-User يتجاهل robots.txt عموماً لأن مستخدماً طلب الجلب. ولذلك فإن قاعدة لـ Perplexity-User ليست وسيلة موثوقة لمنع الزيارات المباشرة، كما أن robots.txt الذي يسمح له ليس دليلاً على أنه يمرّ من جدار الحماية لديك.

يطلب AISeeWhy صفحتك بصفته PerplexityBot وPerplexity-User و12 زاحفاً آخر إلى جانب متصفح، ويطبّق قواعد robots.txt لديك على كل منها، ويتعرّف على صفحات التحدي، ويبيّن مقدار النص الذي يصل دون JavaScript، لترى أي حلقة في السلسلة تفشل.

الأسئلة الشائعة

هل تدرّب Perplexity نماذجها على محتواي؟

تقول Perplexity إن PerplexityBot لا يُستخدم لزحف المحتوى من أجل نماذج الذكاء الاصطناعي الأساسية، وإن Perplexity-User لا يجمع المحتوى للتدريب. ولذلك لا يعمل منع PerplexityBot كاستبعاد من التدريب؛ بل يقلّل ظهورك في نتائج بحث Perplexity فحسب.

كم يمضي بعد إصلاح robots.txt حتى تلاحظ Perplexity ذلك؟

تقول Perplexity إن أنظمتها قد تستغرق حتى 24 ساعة لتعكس تغييرات robots.txt. أما تغييرات جدار الحماية فتسري عندما يطبقها مزوّدك، لكن امنح الزاحف وقتاً للعودة قبل أن تحكم على النتيجة.

هل يمكنني منع Perplexity-User عبر robots.txt؟

ليس بشكل موثوق. تقول Perplexity إن أداة الجلب هذه تتجاهل robots.txt عموماً لأن مستخدماً طلب الجلب. وإذا احتجت إلى إيقافه، فإن قاعدة جدار حماية مطابقة لنطاقات IP المنشورة لديها هي الوسيلة الموثوقة.

هل يكفي فحص وكيل المستخدم لتحديد حركة Perplexity؟

لا. فوكلاء المستخدم سهلة النسخ. قارن عنوان IP المصدر بالنطاقات التي تنشرها Perplexity في perplexitybot.json وperplexity-user.json، وطابق وكيل المستخدم وعنوان IP معاً في قواعد جدار الحماية.

المصادر

مقالات أخرى