Perplexity کے کرالرز: PerplexityBot اور Perplexity-User
Perplexity اپنے سرچ نتائج میں ویب سائٹس دکھانے اور ان کا لنک دینے کے لیے PerplexityBot، اور جب کسی یوزر کے سوال کو ضرورت ہو تو صفحات پر جانے کے لیے Perplexity-User استعمال کرتا ہے۔ Perplexity کہتا ہے کہ PerplexityBot، robots.txt کی پابندی کرتا ہے اور فاؤنڈیشن ماڈلز کی ٹریننگ میں استعمال نہیں ہوتا، جبکہ Perplexity-User عام طور پر robots.txt کو نظر انداز کرتا ہے کیونکہ درخواست یوزر نے کی تھی۔ Perplexity کی سرچ کو اپنے صفحات استعمال کرنے سے روکنے کے لیے robots.txt میں PerplexityBot کو ممنوع کریں؛ Perplexity-User کو روکنے کے لیے اس کی شائع شدہ IP رینجز سے ملنے والا فائر وال اصول استعمال کریں۔
Perplexity حوالوں کے گرد بنا ہے: جوابات کے ساتھ ان صفحات کے نمبر والے لنکس ہوتے ہیں جن سے وہ لیے گئے۔ اس کی کرالر دستاویزات مختصر ہیں، اور صاف بتاتی ہیں کہ کون سا ایجنٹ robots.txt کی پابندی کرتا ہے اور کون سا نہیں۔ یہی فرق طے کرتا ہے کہ کسی ایک کو کنٹرول کرنے کے لیے آپ کون سا ٹول استعمال کریں۔
اس صفحے پر
PerplexityBot کیا کرتا ہے؟
PerplexityBot اس لیے بنایا گیا ہے کہ Perplexity کے سرچ نتائج میں ویب سائٹس دکھائے اور ان کے لنک دے۔ Perplexity کہتا ہے کہ یہ AI فاؤنڈیشن ماڈلز کے لیے مواد کرال کرنے میں استعمال نہیں ہوتا۔ Perplexity کے سرچ نتائج میں آنے کے لیے Perplexity مشورہ دیتا ہے کہ robots.txt میں PerplexityBot کو اجازت دیں۔
Perplexity یہ یوزر ایجنٹ بتاتا ہے:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) ورژن نمبر بدل سکتا ہے، اس لیے فائر وال اصولوں کو PerplexityBot ٹوکن سے ملانا چاہیے۔ Perplexity، IP رینجز perplexity.ai/perplexitybot.json پر شائع کرتا ہے۔
Perplexity-User کیا کرتا ہے؟
Perplexity-User یوزر کے اقدامات میں مدد دیتا ہے۔ جب کوئی Perplexity سے سوال پوچھے تو یہ درست جواب دینے میں مدد کے لیے کسی ویب صفحے پر جا سکتا ہے اور اس صفحے کا لنک شامل کر سکتا ہے۔ Perplexity کہتا ہے کہ یہ ویب کرالنگ یا ٹریننگ ڈیٹا جمع کرنے کے لیے استعمال نہیں ہوتا۔
اس کا دستاویزی یوزر ایجنٹ Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) ہے، اور اس کی IP رینجز perplexity.ai/perplexity-user.json پر شائع ہیں۔
robots.txt کیا کنٹرول کرتا ہے، اور کیا نہیں؟
یہی اصل نکتہ ہے۔ Perplexity کہتا ہے کہ چونکہ درخواست یوزر نے کی تھی، Perplexity-User عام طور پر robots.txt کے اصولوں کو نظر انداز کرتا ہے۔ PerplexityBot کا robots.txt گروپ سرچ کے لیے انڈیکسنگ پر اثر ڈالتا ہے؛ یہ یوزر کی طرف سے براہ راست fetches کو قابل اعتماد طریقے سے نہیں روکتا۔
- robots.txt میں
PerplexityBotممنوع کریں: آپ کے صفحات Perplexity کے سرچ انڈیکس کے لیے کرال نہیں ہوتے، اس لیے ان کے دکھائے جانے اور لنک ہونے کا امکان کم ہو جاتا ہے۔ - robots.txt میں
Perplexity-Userممنوع کریں: Perplexity کی دستاویزات کے مطابق fetcher عام طور پر اسے نظر انداز کرتا ہے، اس لیے یہ قابل بھروسہ کنٹرول نہیں۔ - فائر وال پر
Perplexity-Userبلاک کریں: منگوانا ناکام ہوتا ہے، اور آپ کے صفحے کے بارے میں پوچھنے والے یوزرز کو اس کے بغیر جواب ملتا ہے۔ - دونوں کو اجازت دیں: Perplexity آپ کے صفحات انڈیکس کر سکتا ہے اور یوزر کے پوچھنے پر انہیں براہ راست پڑھ سکتا ہے۔
Perplexity کہتا ہے کہ ہر robots.txt سیٹنگ آزادانہ کام کرتی ہے، اور تبدیلیاں لاگو ہونے میں 24 گھنٹے تک لگ سکتے ہیں۔
Perplexity، ChatGPT اور Claude سے کیسے مختلف ہے؟
تینوں کمپنیاں سرچ کرالر کو یوزر کی درخواست پر چلنے والے fetcher سے الگ رکھتی ہیں۔ دو تفصیلات Perplexity کو ممتاز کرتی ہیں۔ پہلی، یہ الگ ٹریننگ کرالر نہیں چلاتا: یہ کہتا ہے کہ PerplexityBot AI فاؤنڈیشن ماڈلز کے لیے مواد کرال کرنے میں استعمال نہیں ہوتا، اس لیے فیصلہ کرنے کو کوئی ٹریننگ ٹوکن نہیں۔ دوسری، یہ صاف کہتا ہے کہ اس کا یوزر fetcher عام طور پر robots.txt کو نظر انداز کرتا ہے، جبکہ OpenAI کہتا ہے کہ robots.txt شاید ChatGPT-User پر لاگو نہ ہو اور Anthropic کہتا ہے کہ اس کے بوٹس، بشمول Claude-User، robots.txt کا احترام کرتے ہیں۔
عملی طور پر اس کا مطلب ہے robots.txt میں Perplexity کے سرچ کرالر کے لیے ایک فیصلہ، اور اگر کبھی یوزر کی درخواست پر fetches روکنے ہوں تو فائر وال کا فیصلہ۔
Perplexity کے لیے مجھے کون سا robots.txt استعمال کرنا چاہیے؟
اگر آپ حوالہ چاہتے ہیں تو سرچ کرالر کو واضح طور پر اجازت دیں۔ یاد رکھیں کہ نام والا گروپ * سے اصول وراثت میں نہیں لیتا، اس لیے نجی پاتھ دہرائیں:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ چونکہ PerplexityBot ٹریننگ کرالر نہیں، ماڈل ٹریننگ سے opt out کرنے کے لیے اسے بلاک کرنے سے سرچ میں آپ کا نظر آنا کم ہوگا اور وہ مقصد بھی پورا نہیں ہوگا۔
اگر آپ robots.txt میں سائٹ میپ درج کرتے ہیں تو Sitemap: لائن کسی گروپ سے باہر یا فائل کے آخر میں رکھیں؛ یہ تمام کرالرز پر لاگو ہوتی ہے۔ یہ بھی یقینی بنائیں کہ سائٹ میپ خود آپ کے فائر وال سے بلاک نہیں، کیونکہ جو کرالر اسے منگوا نہ سکے وہ اس سے نئے یا بدلے ہوئے صفحات نہیں ڈھونڈ سکتا۔
کیسے یقینی بناؤں کہ فائر وال Perplexity کو بلاک نہیں کرتا؟
بوٹ پروٹیکشن اکثر براؤزر کے علاوہ ہر درخواست کو مشکوک سمجھتی ہے۔ ہر Perplexity یوزر ایجنٹ کے ساتھ اپنا صفحہ منگوائیں اور جواب کا براؤزر کی درخواست سے موازنہ کریں۔ اگر کرالر کو 403، 429 یا چیلنج صفحہ ملے تو ایک allow اصول شامل کریں جو ٹوکن اور، بہتر ہے کہ، شائع شدہ IP رینجز سے ملے، تاکہ صرف اصل Perplexity ٹریفک گزرے۔ Cloudflare میں AI Crawl Control، AI کرالرز کی فہرست ہر ایک کے لیے Allow یا Block action کے ساتھ دیتا ہے۔
یوزر ایجنٹ پر بھروسہ کرنے کے بجائے تصدیق کریں۔ کوئی بھی ایسی درخواست بھیج سکتا ہے جو PerplexityBot کہے، اس لیے صرف یوزر ایجنٹ پر مبنی allow اصول نقالوں کو بھی آنے دیتا ہے، اور اس پر مبنی بلاک سے بچا جا سکتا ہے۔ ماخذ IP کو Perplexity کی شائع شدہ فہرستوں سے جانچنا دونوں قسم کے اصولوں کو قابل اعتماد بناتا ہے۔
AISeeWhy، PerplexityBot اور Perplexity-User کو 12 دوسرے کرالرز کے ساتھ ٹیسٹ کرتا ہے۔ چونکہ دونوں طے کرتے ہیں کہ Perplexity آپ کا صفحہ جواب میں استعمال کر سکتا ہے یا نہیں، کسی ایک کا بلاک بھی P1 کے طور پر رپورٹ ہوتا ہے، اسے ٹھیک کرنے کے اصول کے ساتھ۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- AI کرالر IP جانچ
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا Perplexity میرا مواد AI ماڈلز کی ٹریننگ کے لیے استعمال کرتا ہے؟
Perplexity کہتا ہے کہ نہ PerplexityBot اور نہ Perplexity-User AI فاؤنڈیشن ماڈلز کی ٹریننگ کے لیے مواد جمع کرنے میں استعمال ہوتا ہے۔
Perplexity-User، robots.txt کو کیوں نظر انداز کرتا ہے؟
Perplexity کی دلیل یہ ہے کہ صفحہ ایک یوزر نے مانگا، اس لیے منگوانا خودکار کرالنگ کے بجائے اس یوزر کی طرف سے ہوتا ہے۔ اس کی دستاویزات کہتی ہیں کہ اسی وجہ سے fetcher عام طور پر robots.txt کو نظر انداز کرتا ہے۔
ضرورت ہو تو میں Perplexity-User کو کیسے بلاک کروں؟
اپنا فائر وال یا CDN استعمال کریں، یوزر ایجنٹ ٹوکن اور Perplexity کی شائع شدہ IP رینجز سے ملا کر۔ اس ایجنٹ کے لیے robots.txt قابل بھروسہ کنٹرول نہیں۔
robots.txt کی تبدیلی لاگو ہونے میں کتنا وقت لگتا ہے؟
Perplexity کہتا ہے کہ تبدیلیاں اس کے سسٹمز میں لاگو ہونے میں 24 گھنٹے تک لگ سکتے ہیں۔
کیا PerplexityBot بلاک کرنے سے Perplexity میرا مواد بالکل استعمال نہیں کرے گا؟
نہیں۔ یہ آپ کے صفحات کو Perplexity کے سرچ انڈیکس کے کرال سے باہر رکھتا ہے، لیکن Perplexity-User پھر بھی کسی یوزر کے پوچھنے پر صفحہ منگوا سکتا ہے، کیونکہ وہ fetcher عام طور پر robots.txt کو نظر انداز کرتا ہے۔
ماخذ
- Perplexity: Perplexity کرالرز
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI کرالرز کا انتظام (AI Crawl Control)