میری سائٹ Perplexity میں کیوں نظر نہیں آتی؟

تقریباً 30 سیکنڈ میں معلوم کریں کہ PerplexityBot آپ کے صفحے تک پہنچ سکتا ہے یا نہیں، اور کون سا بلاک (robots.txt، فائر وال یا JavaScript) آپ کو اس کے جوابات سے باہر رکھ رہا ہے۔

مفت · سائن اپ کے بغیر · نتیجہ 30 سیکنڈ میں

PerplexityBot کے لیے robots.txt

جو گروپ PerplexityBot پر لاگو ہوتا ہے اسے RFC 9309 کے اصولوں کے مطابق پڑھا جاتا ہے، اور فیصلہ کرنے والی سطر دکھائی جاتی ہے۔

فائر وال اور CDN کے بلاکس

403، 429 یا ایسا چیلنج صفحہ جو صرف کرالرز کو ملتا ہے، اس کی نشاندہی کی جاتی ہے اور جواب دینے والے فائر وال کا نام بتایا جاتا ہے۔

صفحہ کیا لوٹاتا ہے

کرالر کے لیے اسٹیٹس، سائز اور ری ڈائریکٹس کا عام براؤزر سے موازنہ کیا جاتا ہے، تاکہ کرالرز کو ملنے والا مختصر جواب نمایاں ہو جائے۔

ہر نتیجے کا حل

ہر نتیجے کے ساتھ وہ تبدیلی دی جاتی ہے جو کرنی ہے۔ مفت جانچ آپ کا اسکور اور پہلا نتیجہ دکھاتی ہے؛ مکمل رپورٹ $29 میں ہے، صرف ایک بار۔

مختصر جواب

Perplexity صرف وہی صفحات دکھا اور لنک کر سکتا ہے جنہیں کرال کرنے کی PerplexityBot کو اجازت ہو اور جو اسے واقعی ملیں۔ عام وجوہات یہ ہیں: robots.txt کا کوئی اصول جو PerplexityBot کو ممنوع کرتا ہے، فائر وال یا CDN جو اسے 403 یا چیلنج صفحہ دیتا ہے، اور ایسا متن جو صرف JavaScript چلنے کے بعد ظاہر ہوتا ہے۔ تینوں جانچیں، پھر Perplexity کی شائع شدہ IP رینجز کو اجازت دیں۔ اگر Perplexity آپ کے بجائے کسی حریف کا حوالہ دیتا ہے تو پہلے یہ بلاکس خارج کریں، پھر اپنے صفحے کا موازنہ اس صفحے سے کریں جس کا وہ اسی سوال کے لیے حوالہ دیتا ہے۔

3 مراحل میں بلاک تلاش کریں

  1. robots.txt جانچیں

    ایسا گروپ دیکھیں جس میں PerplexityBot کا نام ہو۔ اگر نہ ہو تو User-agent: * والا گروپ لاگو ہوتا ہے، اور نام والا گروپ * کی جگہ مکمل طور پر لے لیتا ہے۔

  2. براؤزر اور کرالر کا موازنہ کریں

    صفحہ براؤزر کے طور پر اور Perplexity کے ہر ایجنٹ کے طور پر منگوائیں۔ صرف ایجنٹس کو 403، 429 یا 503 ملنا، Just a moment... صفحہ، یا بہت چھوٹا 200 فائر وال کی طرف اشارہ کرتا ہے۔

  3. صفحے کا سورس دیکھیں

    صفحہ curl سے منگوائیں اور اپنے مرکزی مواد کا کوئی جملہ تلاش کریں۔ اگر نہ ملے تو متن اسکرپٹس شامل کرتی ہیں: اسے سرور پر رینڈر کریں۔

اکثر پوچھے جانے والے سوالات

Perplexity میرے بجائے میرے حریف کی سفارش کیوں کرتا ہے؟

Perplexity شائع نہیں کرتا کہ وہ ماخذ کیسے چنتا ہے، لیکن وہ صرف ان صفحات کا حوالہ دے سکتا ہے جنہیں اس کے ایجنٹس پڑھ سکیں۔ پہلے تصدیق کریں کہ PerplexityBot اور Perplexity-User کو آپ کا صفحہ ملتا ہے۔ اگر ملتا ہے تو اسی سوال کے لیے Perplexity کا حوالہ دیا گیا صفحہ کھولیں اور موازنہ کریں: کیا آپ کا صفحہ بالکل اسی سوال کا جواب شروع میں، حقائق متن میں بیان کر کے دیتا ہے؟ AISeeWhy کی AI میں نمایاں ہونے کی جانچ آپ کے خریداروں کے سوال Perplexity اور تین دوسرے اسسٹنٹس سے پوچھتی ہے اور دکھاتی ہے کہ آپ کے ساتھ کن حریفوں کا نام آتا ہے۔

کیا Perplexity میرے مواد پر اپنے ماڈلز کی ٹریننگ کرتا ہے؟

Perplexity کہتا ہے کہ PerplexityBot AI فاؤنڈیشن ماڈلز کے لیے مواد کرال کرنے میں استعمال نہیں ہوتا اور Perplexity-User ٹریننگ کے لیے مواد جمع نہیں کرتا۔ اس لیے PerplexityBot کو ممنوع کرنا ٹریننگ سے باہر نکلنے کا طریقہ نہیں؛ اس سے صرف Perplexity کے سرچ نتائج میں آپ کا نظر آنا کم ہوتا ہے۔

robots.txt ٹھیک کرنے کے کتنی دیر بعد Perplexity کو پتہ چلے گا؟

Perplexity کہتا ہے کہ robots.txt کی تبدیلیاں اس کے سسٹمز میں لاگو ہونے میں 24 گھنٹے تک لگ سکتے ہیں۔ فائر وال کی تبدیلیاں تب لاگو ہوتی ہیں جب آپ کا فراہم کنندہ انہیں لاگو کرے، لیکن نتیجہ پرکھنے سے پہلے کرالر کو واپس آنے کا وقت دیں۔

کیا میں robots.txt سے Perplexity-User کو بلاک کر سکتا ہوں؟

قابل اعتماد طریقے سے نہیں۔ Perplexity کہتا ہے کہ یہ fetcher عام طور پر robots.txt کو نظر انداز کرتا ہے کیونکہ درخواست یوزر نے کی تھی۔ اگر آپ کو اسے روکنا ہے تو اس کی شائع شدہ IP رینجز سے میل کھانے والا فائر وال اصول قابل بھروسہ کنٹرول ہے۔

کیا Perplexity کی ٹریفک پہچاننے کے لیے یوزر ایجنٹ کی جانچ کافی ہے؟

نہیں۔ یوزر ایجنٹ آسانی سے نقل ہو جاتے ہیں۔ ماخذ IP کا ان رینجز سے موازنہ کریں جو Perplexity perplexitybot.json اور perplexity-user.json میں شائع کرتا ہے، اور فائر وال اصولوں میں یوزر ایجنٹ اور IP دونوں کو ملائیں۔

مکمل گائیڈ پڑھیں

آپ Perplexity سے اپنی پروڈکٹ کے بارے میں پوچھتے ہیں، اور وہ کسی حریف، ریویو سائٹ یا فورم تھریڈ کا حوالہ دیتا ہے، لیکن آپ کے اپنے صفحات کا کبھی نہیں۔ کبھی یہ مطابقت کا سوال ہوتا ہے۔ اکثر یہ ایک تکنیکی رکاوٹ ہوتی ہے جسے آپ چند منٹ میں ڈھونڈ سکتے ہیں۔ Perplexity بتاتا ہے کہ وہ کون سے ایجنٹ استعمال کرتا ہے، ہر ایک کیا کرتا ہے اور اس کی ٹریفک کہاں سے آتی ہے، اس لیے زنجیر کی ہر کڑی جانچی جا سکتی ہے: robots.txt، آپ کے سرور کا بھیجا ہوا جواب، اور اس جواب میں کیا ہے۔

Perplexity صفحات کیسے ڈھونڈتا اور پڑھتا ہے؟

Perplexity دو ایجنٹس کی دستاویزات دیتا ہے۔ ان کے کام مختلف ہیں، اور کسی ایک میں بھی مسئلہ آپ کے صفحے کو جواب سے باہر رکھ سکتا ہے۔

  • PerplexityBot اس لیے بنایا گیا ہے کہ Perplexity کے سرچ نتائج میں ویب سائٹس دکھائے اور ان کے لنک دے۔ Perplexity مشورہ دیتا ہے کہ اگر آپ وہاں نظر آنا چاہتے ہیں تو robots.txt میں اسے اجازت دیں، اور کہتا ہے کہ یہ AI فاؤنڈیشن ماڈلز کے لیے مواد کرال کرنے میں استعمال نہیں ہوتا۔
  • Perplexity-User یوزر کے اقدامات میں مدد دیتا ہے۔ جب کوئی سوال پوچھتا ہے تو یہ جواب دینے کے لیے کسی صفحے پر جا سکتا ہے اور اس صفحے کا لنک دے سکتا ہے۔ Perplexity کہتا ہے کہ یہ ویب کرالنگ یا ٹریننگ ڈیٹا جمع کرنے کے لیے استعمال نہیں ہوتا۔

عملی طور پر PerplexityBot طے کرتا ہے کہ کسی کے پوچھنے سے پہلے Perplexity آپ کے صفحات کے بارے میں جانتا ہے یا نہیں، اور Perplexity-User طے کرتا ہے کہ ضرورت پڑنے پر وہ صفحہ براہ راست کھول سکتا ہے یا نہیں۔ اگر آپ چاہتے ہیں کہ آپ کا حوالہ دیا جائے تو دونوں کو وہی صفحہ ملنا چاہیے جو براؤزر کو ملتا ہے۔

کیا آپ کا robots.txt، PerplexityBot کو بلاک کر رہا ہے؟

https://yourdomain.com/robots.txt کھولیں اور ایسا گروپ تلاش کریں جس میں PerplexityBot کا نام ہو۔ اگر کوئی نہیں تو کرالر User-agent: * گروپ پر چلتا ہے۔ RFC 9309 کے تحت نام کا ملان بڑے چھوٹے حروف سے آزاد ہے، اور نام والا گروپ * گروپ میں اضافہ نہیں کرتا بلکہ اس کی پوری جگہ لے لیتا ہے۔

یہ بلاک عام ہے۔ 1,000 سب سے مقبول ڈومینز کی robots.txt فائلوں کے ہمارے مطالعے میں، robots.txt دینے والی 518 سائٹس میں سے 86 (16.6%) نے PerplexityBot کے لیے ہوم پیج ممنوع کر رکھا تھا۔ یہ ہمارے جانچے گئے کسی بھی AI سرچ کرالر کا سب سے زیادہ حصہ تھا؛ OAI-SearchBot 58 سائٹس (11.2%) پر بلاک تھا۔ ان میں سے کچھ سائٹس شاید AI ٹریننگ روکنا چاہتی تھیں، لیکن Perplexity کہتا ہے کہ PerplexityBot ٹریننگ کرالر نہیں، اس لیے اسے بلاک کرنے سے یہ مقصد پورا نہیں ہوتا اور سرچ میں نظر آنا کم ہو جاتا ہے۔

ایسی ترتیب جو Perplexity کو آنے دے اور نجی حصہ بند رکھے، کچھ یوں دکھتی ہے:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

یہ بھی جانچیں کہ فائل خود درست جواب دیتی ہے۔ اگر robots.txt سرور کی خرابی لوٹائے تو RFC 9309 کے مطابق کرالر کو پوری سائٹ ممنوع سمجھنی چاہیے۔ robots.txt کا ایسا پتہ جو اسٹیٹس 200 کے ساتھ HTML صفحہ لوٹائے، اس میں کوئی درست اصول نہیں ہوتا۔ Perplexity کہتا ہے کہ تبدیلیاں لاگو ہونے میں 24 گھنٹے تک لگ سکتے ہیں۔

کیا آپ کا فائر وال یا CDN، Perplexity کو بلاک کر رہا ہے؟

robots.txt ایک درخواست ہے، رسائی کا کنٹرول نہیں۔ اصل میں کیا واپس بھیجا جاتا ہے یہ آپ کا فائر وال، CDN یا بوٹ پروٹیکشن طے کرتا ہے، اور وہ Perplexity کو 403، 429 یا چیلنج صفحہ دے سکتا ہے جبکہ آپ کے اپنے براؤزر سے وزٹس معمول کے مطابق دکھیں۔ Perplexity کی دستاویزات کہتی ہیں کہ web application firewall کے پیچھے موجود سائٹس کو اس کے بوٹس کو واضح طور پر اجازت دینی پڑ سکتی ہے۔

اسے جانچنے کے لیے ایک ہی URL براؤزر کے طور پر اور ہر Perplexity ایجنٹ کے طور پر منگوائیں، پھر اسٹیٹس اور سائز کا موازنہ کریں:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

صرف Perplexity ایجنٹس کے لیے 403، 429 یا 503، Just a moment... عنوان والا صفحہ، یا 200 جواب جو براؤزر والے سے بہت چھوٹا ہو، یہ سب فائر وال کی طرف اشارہ کرتے ہیں۔ یہ ٹیسٹ آپ کے IP پتے سے ہوتا ہے، Perplexity کے نہیں، اس لیے یہ دکھاتا ہے کہ آپ کے اصول یوزر ایجنٹ کے ساتھ کیسا سلوک کرتے ہیں؛ اصل کرالر کے لیے IP پر مبنی اصول پھر بھی مختلف ہو سکتے ہیں۔

اگر آپ Cloudflare استعمال کرتے ہیں تو دو باتیں یاد رکھیں۔ Perplexity کی دستاویزات Cloudflare کا یہ بیان دہراتی ہیں کہ Bot Fight Mode کو WAF custom rules سے skip نہیں کیا جا سکتا، اس لیے اگر یہ فیچر Perplexity کو چیلنج کرتا ہے تو allow اصول مدد نہیں کرے گا۔ اور اگست 2025 میں Cloudflare نے کہا کہ اس نے Perplexity کو اپنی verified bots فہرست سے ہٹا دیا ہے، کیونکہ اس کے بقول اس نے غیر اعلانیہ کرالنگ دیکھی؛ Perplexity نے اس بیان سے اختلاف کیا۔ اس لیے جو اصول صرف verified bots کو گزرنے دیتے ہیں وہ شاید Perplexity پر لاگو نہ ہوں۔ اندازہ لگانے کے بجائے اپنے ڈیش بورڈ میں موجودہ صورتحال دیکھیں۔

Perplexity کو اس کی شائع شدہ IP رینجز سے اجازت کیسے دوں؟

کوئی بھی ایسی درخواست بھیج سکتا ہے جو خود کو PerplexityBot کہے، اس لیے صرف یوزر ایجنٹ سے میل کھانے والا allow اصول نقالوں کو بھی آنے دیتا ہے۔ Perplexity دونوں ایجنٹس کی پتوں کی رینجز شائع کرتا ہے اور یوزر ایجنٹ اور IP پتے دونوں کو ایک ساتھ ملانے کا مشورہ دیتا ہے:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity کہتا ہے کہ یہ فہرستیں باقاعدگی سے اپ ڈیٹ ہوتی ہیں اور آپ کے WAF اصولوں کی اپ ڈیٹ خودکار بنانے کا مشورہ دیتا ہے۔ allow اصول کو ان تمام اصولوں سے اوپر رکھیں جو درخواستیں بلاک یا چیلنج کرتے ہیں: Cloudflare کے custom rules میں سب سے پہلے، یا AWS WAF میں کم priority نمبر کے ساتھ۔ پھر اپنے لاگز دیکھتے رہیں، کیونکہ فائر وال کی تبدیلیاں پھیلنے میں وقت لے سکتی ہیں۔

کیا JavaScript رینڈرنگ Perplexity کو صفحہ پڑھنے سے روک سکتی ہے؟

روک سکتی ہے۔ Perplexity کی کرالر دستاویزات یہ نہیں بتاتیں کہ اس کے ایجنٹس JavaScript چلاتے ہیں یا نہیں، اس لیے محفوظ مفروضہ یہ ہے کہ کرالر کو جس متن کی ضرورت ہے وہ سرور کے بھیجے ہوئے HTML میں ہونا چاہیے۔ پوری طرح براؤزر میں بننے والے صفحات، جیسے سرور رینڈرنگ کے بغیر single-page ایپس، لوڈنگ اسپنر والے خالی ڈھانچے کی طرح پہنچ سکتے ہیں۔

فوری جانچ یہ ہے کہ صفحہ curl سے منگوائیں اور آؤٹ پٹ میں اپنے مرکزی مواد کا کوئی جملہ تلاش کریں۔ اگر وہ موجود نہیں تو متن اسکرپٹس سے شامل ہوتا ہے۔ سرور سائیڈ رینڈرنگ، static generation یا کرالرز کے لیے prerendering یہ مسئلہ صرف Perplexity نہیں بلکہ تمام AI کرالرز کے لیے ایک ساتھ حل کرتی ہے۔

اگر سب کچھ کھلا ہو اور پھر بھی میری سائٹ نظر نہ آئے تو؟

پڑھے جانے کے قابل ہونا ایک شرط ہے، ضمانت نہیں۔ Perplexity یہ شائع نہیں کرتا کہ وہ حوالہ دینے کے لیے ماخذ کیسے چنتا ہے، اس لیے جو صفحہ ہر ایجنٹ پڑھ سکتا ہے وہ بھی ان صفحات سے پیچھے رہ سکتا ہے جو سوال کا زیادہ سیدھا جواب دیتے ہیں۔ آپ کے اختیار میں یہ ہے کہ کوئی تکنیکی رکاوٹ راستے میں نہ ہو: واضح صفحہ عنوان، متن کے شروع میں جواب، اور درست حقائق جو آپ کی دوسری جگہوں پر کہی گئی باتوں سے میل کھائیں۔

یہ بھی یاد رکھیں کہ robots.txt کس چیز پر لاگو نہیں ہوتا۔ Perplexity کہتا ہے کہ Perplexity-User عام طور پر robots.txt کو نظر انداز کرتا ہے کیونکہ درخواست یوزر نے کی تھی۔ اس لیے Perplexity-User کے لیے اصول براہ راست وزٹس روکنے کا قابل اعتماد طریقہ نہیں، اور جو robots.txt اسے اجازت دیتا ہے وہ اس بات کا ثبوت نہیں کہ یہ آپ کے فائر وال سے گزر جاتا ہے۔

AISeeWhy آپ کا صفحہ ایک براؤزر کے ساتھ PerplexityBot، Perplexity-User اور 12 دوسرے کرالرز کے طور پر منگواتا ہے، ہر ایک کے لیے آپ کے robots.txt اصول لاگو کرتا ہے، چیلنج صفحات پہچانتا ہے اور دکھاتا ہے کہ JavaScript کے بغیر کتنا متن پہنچتا ہے، تاکہ آپ دیکھ سکیں کہ زنجیر کی کون سی کڑی ناکام ہے۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

ماخذ

مزید مضامین

شائع شدہ · اپ ڈیٹ