AISeeWhy
AR
ابدأ التجربة المجانية

زواحف Perplexity: PerplexityBot وPerplexity-User

تاريخ النشر

الإجابة المختصرة

تستخدم Perplexity الزاحف PerplexityBot لإظهار المواقع وربطها في نتائج بحثها، وPerplexity-User لزيارة الصفحات عندما يحتاج إليها سؤال المستخدم. وتقول Perplexity إن PerplexityBot يتبع robots.txt ولا يُستخدم لتدريب النماذج الأساسية، بينما يتجاهل Perplexity-User عموماً robots.txt لأن مستخدماً طلب الجلب.

Perplexity مبنية حول الاستشهادات: تأتي الإجابات مع روابط مرقّمة إلى الصفحات التي استندت إليها. ووثائق زواحفها قصيرة، وتبيّن بوضوح أي وكيل يتبع robots.txt وأيهما لا يتبعه. وهذا الفرق يحدد الأداة التي تستخدمها إذا أردت التحكم في أي منهما.

في هذه الصفحة
  1. ما وظيفة PerplexityBot؟
  2. ما وظيفة Perplexity-User؟
  3. ما الذي يتحكم فيه robots.txt وما الذي لا يتحكم فيه؟
  4. بماذا تختلف Perplexity عن ChatGPT وClaude؟
  5. ما ملف robots.txt الذي أستخدمه لـ Perplexity؟
  6. كيف أتأكد من أن جدار الحماية لا يحظر Perplexity؟

ما وظيفة PerplexityBot؟

صُمم PerplexityBot لإظهار المواقع وربطها في نتائج البحث في Perplexity. وتقول Perplexity إنه لا يُستخدم لجمع محتوى لنماذج الذكاء الاصطناعي الأساسية. وللظهور في نتائج بحث Perplexity، توصي بالسماح لـ PerplexityBot في robots.txt.

توثّق Perplexity وكيل المستخدم هذا:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

قد يتغير رقم الإصدار، لذا يجب أن تطابق قواعد جدار الحماية الرمز PerplexityBot. وتنشر Perplexity نطاقات IP في perplexity.ai/perplexitybot.json.

ما وظيفة Perplexity-User؟

يدعم Perplexity-User إجراءات المستخدم. فعندما يطرح شخص سؤالاً على Perplexity، قد تزور صفحة ويب لتقديم إجابة دقيقة وتضع رابطاً إليها. وتقول Perplexity إنه لا يُستخدم في الزحف إلى الويب أو جمع بيانات التدريب.

وكيل المستخدم الموثّق له هو Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)، وتنشر نطاقات IP الخاصة به في perplexity.ai/perplexity-user.json.

ما الذي يتحكم فيه robots.txt وما الذي لا يتحكم فيه؟

هذه هي النقطة الجوهرية. تذكر Perplexity أنه لأن مستخدماً طلب الجلب، فإن Perplexity-User يتجاهل عموماً قواعد robots.txt. ومجموعة robots.txt الخاصة بـ PerplexityBot تؤثر في الفهرسة للبحث؛ لكنها لا توقف بشكل موثوق الجلب المباشر نيابةً عن المستخدم.

تقول Perplexity إن كل إعداد في robots.txt يعمل باستقلال، وإن التغييرات قد تستغرق حتى 24 ساعة لتنعكس.

بماذا تختلف Perplexity عن ChatGPT وClaude؟

تفصل الجهات الثلاث كلها بين زاحف البحث وأداة الجلب بطلب المستخدم. وهناك تفصيلان يميّزان Perplexity. الأول أنها لا تشغّل زاحف تدريب منفصلاً: فهي تقول إن PerplexityBot لا يُستخدم لجمع محتوى لنماذج الذكاء الاصطناعي الأساسية، فلا يوجد رمز تدريب لتقرر بشأنه. والثاني أنها صريحة في أن أداة الجلب لديها تتجاهل robots.txt عموماً، بينما تقول OpenAI إن robots.txt قد لا ينطبق على ChatGPT-User، وتقول Anthropic إن روبوتاتها، ومنها Claude-User، تلتزم بـ robots.txt.

عملياً يعني هذا قراراً واحداً لزاحف البحث في Perplexity داخل robots.txt، وقراراً في جدار الحماية إذا أردت يوماً إيقاف الجلب بطلب المستخدم.

ما ملف robots.txt الذي أستخدمه لـ Perplexity؟

إذا أردت أن يُستشهد بك، فاسمح لزاحف البحث صراحةً. وتذكّر أن المجموعة المسمّاة لا ترث القواعد من *، فكرّر المسارات الخاصة:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

ولأن PerplexityBot ليس زاحف تدريب، فإن حظره للانسحاب من تدريب النماذج سيكلّفك الظهور في البحث دون أن يخدم هذا الهدف.

وإذا أدرجت خريطة موقع في robots.txt، فأبقِ السطر Sitemap: خارج أي مجموعة أو في نهاية الملف؛ فهو ينطبق على كل الزواحف. وتأكد أيضاً من أن جدار الحماية لا يحظر خريطة الموقع نفسها، فالزاحف الذي لا يستطيع جلبها لا يستطيع استخدامها للعثور على الصفحات الجديدة أو المعدّلة.

كيف أتأكد من أن جدار الحماية لا يحظر Perplexity؟

تعامل الحماية من الروبوتات غالباً أي طلب لا يأتي من متصفح على أنه مشبوه. اطلب صفحتك بوكيل مستخدم كل من وكيلي Perplexity وقارن الاستجابة بطلب من متصفح. فإذا حصل الزاحف على 403 أو 429 أو صفحة تحدٍّ، فأضف قاعدة سماح تطابق الرمز، ويفضَّل أن تطابق نطاقات IP المنشورة أيضاً، حتى لا يمر إلا حركة Perplexity الحقيقية. وفي Cloudflare تعرض AI Crawl Control زواحف الذكاء الاصطناعي مع إجراء Allow أو Block لكل منها.

تحقق ولا تثق بوكيل المستخدم وحده. يستطيع أي أحد إرسال طلب يقول PerplexityBot، فقاعدة سماح قائمة على وكيل المستخدم وحده تسمح بمرور المنتحلين أيضاً، والحظر القائم عليه يمكن الالتفاف عليه. أما مطابقة عنوان IP المصدر مع قوائم Perplexity المنشورة فتجعل النوعين من القواعد موثوقين.

يختبر AISeeWhy الوكيلين PerplexityBot وPerplexity-User إلى جانب 12 زاحفاً آخر. ولأن كلاً منهما يحدد ما إذا كانت Perplexity تستطيع استخدام صفحتك في إجابة، فإن حظر أيٍّ منهما يُبلَّغ عنه بوصفه P1، مع القاعدة اللازمة لإصلاحه.

الأسئلة الشائعة

هل تستخدم Perplexity محتواي لتدريب نماذج الذكاء الاصطناعي؟

تقول Perplexity إن PerplexityBot وPerplexity-User لا يُستخدم أي منهما لجمع محتوى لتدريب نماذج الذكاء الاصطناعي الأساسية.

لماذا يتجاهل Perplexity-User ملف robots.txt؟

منطق Perplexity أن مستخدماً طلب الصفحة، فالجلب يتم نيابةً عن ذلك المستخدم لا كزحف آلي. وتقول وثائقها إن أداة الجلب تتجاهل robots.txt عموماً لهذا السبب.

كيف أحظر Perplexity-User إذا احتجت إلى ذلك؟

استخدم جدار الحماية أو CDN، مطابقاً رمز وكيل المستخدم ونطاقات IP التي تنشرها Perplexity. فـ robots.txt ليس ضبطاً يُعتمد عليه لهذا الوكيل.

كم يستغرق تطبيق تغيير في robots.txt؟

تقول Perplexity إن أنظمتها قد تحتاج حتى 24 ساعة لتعكس التغييرات.

هل يمنع حظر PerplexityBot استخدام Perplexity لمحتواي كلياً؟

لا. يُبقي صفحاتك خارج الزحف إلى فهرس البحث في Perplexity، لكن Perplexity-User يظل قادراً على جلب صفحة عندما يسأل عنها مستخدم، لأن أداة الجلب هذه تتجاهل robots.txt عموماً.

المصادر

مقالات أخرى