چرا سایت من در Perplexity نمایش داده نمیشود؟
در حدود 30 ثانیه بفهمید PerplexityBot به صفحه شما دسترسی دارد یا نه، و کدام مانع (robots.txt، فایروال یا JavaScript) شما را از پاسخهای آن بیرون نگه داشته است.
رایگان · بدون ثبتنام · نتیجه در 30 ثانیه
robots.txt برای PerplexityBot
گروهی که برای PerplexityBot اعمال میشود طبق قواعد RFC 9309 خوانده میشود و خطی که تصمیم میگیرد نشان داده میشود.
مسدودسازی فایروال و CDN
خطای 403، خطای 429 یا صفحه چالشی که فقط خزندهها دریافت میکنند علامتگذاری میشود و نام فایروالی که پاسخ داده اعلام میشود.
صفحه چه پاسخی میدهد
وضعیت، حجم و ریدایرکتها برای خزنده با مرورگر عادی مقایسه میشود، تا پاسخ کمحجمتر برای خزندهها به چشم بیاید.
راهحل برای هر یافته
هر یافته همراه تغییری میآید که باید انجام دهید. بررسی رایگان امتیاز و اولین یافته را نشان میدهد؛ گزارش کامل 29$ است، یکبار پرداخت.
Perplexity فقط صفحههایی را میتواند نمایش دهد و به آنها لینک دهد که PerplexityBot اجازه خزیدن آنها را داشته باشد و واقعاً آنها را دریافت کند. دلیلهای رایج: یک قانون robots.txt که PerplexityBot را ممنوع میکند، فایروال یا CDN که به آن خطای 403 یا صفحه چالش برمیگرداند، و متنی که فقط پس از اجرای JavaScript ظاهر میشود. هر سه را بررسی کنید و سپس بازههای IP منتشرشده Perplexity را مجاز کنید. اگر Perplexity به رقیب استناد میکند و به شما نه، اول این موانع را کنار بگذارید، سپس صفحه خود را با صفحهای که برای همان پرسش ذکر میکند مقایسه کنید.
پیدا کردن مانع در 3 مرحله
- robots.txt را بررسی کنید
دنبال گروهی بگردید که نام
PerplexityBotرا آورده باشد. اگر نبود، گروهUser-agent: *اعمال میشود، و گروهی که نام خزنده را آورده*را کاملاً کنار میزند. - مرورگر و خزنده را مقایسه کنید
صفحه را یک بار بهعنوان مرورگر و یک بار با هر عامل Perplexity درخواست کنید. خطای 403، 429 یا 503 فقط برای عاملها، صفحه
Just a moment...یا پاسخ 200 بسیار کوچکتر نشاندهنده فایروال است. - سورس صفحه را ببینید
صفحه را با
curlدریافت کنید و جملهای از محتوای اصلی را در آن جستجو کنید. اگر نبود، متن را اسکریپتها اضافه میکنند: آن را روی سرور رندر کنید.
پرسشهای متداول
چرا Perplexity رقیب مرا پیشنهاد میکند و مرا نه؟
Perplexity منتشر نمیکند که منابع را چطور انتخاب میکند، اما فقط میتواند به صفحههایی استناد کند که عاملهایش بتوانند بخوانند. اول مطمئن شوید PerplexityBot و Perplexity-User صفحه شما را دریافت میکنند. اگر اینطور است، صفحهای را که Perplexity برای همان پرسش ذکر میکند باز کنید و مقایسه کنید: آیا صفحه شما در همان بالای صفحه به همان پرسش دقیق پاسخ میدهد و واقعیتها را بهصورت متن بیان میکند؟ بررسی دیدهشدن در هوش مصنوعی AISeeWhy پرسشهای خریداران شما را در Perplexity و سه دستیار دیگر میپرسد و نشان میدهد کدام رقبا در کنار شما نام برده میشوند.
آیا Perplexity مدلهایش را با محتوای من آموزش میدهد؟
Perplexity میگوید از PerplexityBot برای خزیدن محتوا برای مدلهای پایه هوش مصنوعی استفاده نمیشود و Perplexity-User محتوا را برای آموزش جمع نمیکند. بنابراین ممنوع کردن PerplexityBot راهی برای خارج شدن از آموزش نیست؛ فقط دیده شدن شما در نتایج جستجوی Perplexity را کم میکند.
پس از اصلاح robots.txt چقدر طول میکشد تا Perplexity متوجه شود؟
Perplexity میگوید ممکن است تا 24 ساعت طول بکشد تا سیستمهایش تغییرات robots.txt را اعمال کنند. تغییرات فایروال وقتی ارائهدهنده شما آنها را اعمال کند اثر میکنند، اما پیش از قضاوت درباره نتیجه به خزنده فرصت بدهید دوباره بیاید.
آیا میتوانم Perplexity-User را با robots.txt مسدود کنم؟
نه بهطور مطمئن. Perplexity میگوید این دریافتکننده معمولاً robots.txt را نادیده میگیرد، چون دریافت را یک کاربر درخواست کرده است. اگر باید جلوی آن را بگیرید، قانون فایروالی که با بازههای IP منتشرشدهاش تطبیق داده شود کنترل قابل اتکاست.
آیا بررسی user agent برای شناسایی ترافیک Perplexity کافی است؟
نه. user agent بهراحتی کپی میشود. IP مبدأ را با بازههایی که Perplexity در perplexitybot.json و perplexity-user.json منتشر میکند مقایسه کنید و در قوانین فایروال هم user agent و هم IP را تطبیق دهید.
راهنمای کامل را بخوانید
از Perplexity درباره محصولتان میپرسید و به یک رقیب، یک سایت نقد و بررسی یا یک رشته بحث در انجمن استناد میکند، اما هیچوقت به صفحههای خود شما نه. گاهی موضوع مرتبط بودن است. اما اغلب یک مانع فنی است که در چند دقیقه پیدا میشود. Perplexity مستند کرده که از چه عاملهایی استفاده میکند، هر کدام چه کاری انجام میدهد و ترافیکش از کجا میآید؛ پس میتوان تکتک حلقههای زنجیره را بررسی کرد: robots.txt، پاسخی که سرور شما میفرستد و محتوای آن پاسخ.
Perplexity صفحهها را چطور پیدا میکند و میخواند؟
Perplexity دو عامل را مستند کرده است. کار آنها متفاوت است و مشکل در هر کدام میتواند صفحه شما را از پاسخ بیرون نگه دارد.
PerplexityBotبرای نمایش وبسایتها و لینک دادن به آنها در نتایج جستجوی Perplexity طراحی شده است. Perplexity توصیه میکند اگر میخواهید آنجا دیده شوید، آن را در robots.txt مجاز کنید و میگوید از آن برای خزیدن محتوا برای مدلهای پایه هوش مصنوعی استفاده نمیشود.Perplexity-Userاز کارهای کاربران پشتیبانی میکند. وقتی کسی سؤالی میپرسد، ممکن است برای کمک به پاسخ به یک صفحه سر بزند و به آن لینک دهد. Perplexity میگوید از آن برای خزیدن وب یا جمعآوری داده آموزشی استفاده نمیشود.
در عمل، PerplexityBot تعیین میکند که آیا Perplexity پیش از پرسیدن هر سؤالی صفحههای شما را میشناسد، و Perplexity-User تعیین میکند که آیا وقتی سؤالی به آن نیاز دارد، میتواند صفحه را همان لحظه باز کند. اگر میخواهید به شما استناد شود، هر دو باید همان صفحهای را دریافت کنند که مرورگر دریافت میکند.
آیا robots.txt شما PerplexityBot را مسدود کرده است؟
https://yourdomain.com/robots.txt را باز کنید و دنبال گروهی بگردید که نام PerplexityBot را آورده باشد. اگر چنین گروهی نباشد، خزنده از گروه User-agent: * پیروی میکند. طبق RFC 9309 تطبیق نام به حروف بزرگ و کوچک حساس نیست و یک گروه نامدار بهطور کامل جای گروه * را میگیرد، نه اینکه به آن اضافه شود.
این مسدودسازی رایج است. در بررسی ما روی فایلهای robots.txt هزار دامنه پربازدید، 86 سایت از 518 سایتی که robots.txt داشتند (16.6%) صفحه اصلی را برای PerplexityBot ممنوع کرده بودند. این بیشترین سهم در میان همه خزندههای جستجوی هوش مصنوعی بود که آزمودیم؛ OAI-SearchBot در 58 سایت (11.2%) مسدود بود. شاید بعضی از این سایتها میخواستند جلوی آموزش هوش مصنوعی را بگیرند، اما Perplexity میگوید PerplexityBot خزنده آموزشی نیست؛ پس مسدود کردن آن بدون رسیدن به آن هدف، دیده شدن در جستجو را از بین میبرد.
تنظیمی که Perplexity را راه میدهد و یک بخش خصوصی را بسته نگه میدارد این شکلی است:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml همچنین بررسی کنید که خود فایل درست پاسخ میدهد. اگر robots.txt خطای سرور برگرداند، طبق RFC 9309 خزنده باید فرض کند کل سایت ممنوع است. نشانی robots.txt که یک صفحه HTML با وضعیت 200 برمیگرداند هیچ قانون معتبری ندارد. Perplexity میگوید اعمال تغییرات ممکن است تا 24 ساعت طول بکشد.
آیا فایروال یا CDN شما Perplexity را مسدود کرده است؟
robots.txt یک درخواست است، نه کنترل دسترسی. فایروال، CDN یا محافظ ربات شماست که تعیین میکند واقعاً چه چیزی برگردانده شود، و ممکن است به Perplexity خطای 403، 429 یا صفحه چالش بدهد در حالی که بازدیدهای خودتان با مرورگر عادی به نظر میرسند. مستندات Perplexity میگوید سایتهایی که پشت فایروال برنامه وب (WAF) هستند ممکن است لازم باشد رباتهای آن را صریحاً مجاز کنند.
برای آزمایش، همان URL را یک بار بهعنوان مرورگر و یک بار بهعنوان هر عامل Perplexity درخواست کنید و سپس وضعیت و اندازه پاسخ را مقایسه کنید:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done خطای 403، 429 یا 503 فقط برای عاملهای Perplexity، صفحهای با عنوان Just a moment... یا پاسخ 200 که از پاسخ مرورگر خیلی کوچکتر است، همه نشانه فایروالاند. این آزمایش از نشانی IP شما انجام میشود، نه IP خود Perplexity؛ پس نشان میدهد قوانین شما با user agent چطور رفتار میکنند، و قوانین مبتنی بر IP ممکن است برای خزنده واقعی نتیجه دیگری بدهند.
اگر از Cloudflare استفاده میکنید، به دو نکته توجه کنید. مستندات Perplexity گفته خود Cloudflare را تکرار میکند که Bot Fight Mode را نمیتوان با قوانین سفارشی WAF دور زد؛ پس اگر این قابلیت برای Perplexity چالش نشان دهد، قانون مجازسازی کمکی نمیکند. همچنین Cloudflare در اوت 2025 اعلام کرد Perplexity را از فهرست رباتهای تأییدشده خود حذف کرده، پس از آنچه «خزیدن اعلامنشده» توصیف کرد؛ Perplexity این روایت را رد کرد. بنابراین قوانینی که فقط رباتهای تأییدشده را راه میدهند ممکن است Perplexity را پوشش ندهند. بهجای حدس زدن، وضعیت فعلی را در داشبورد خود بررسی کنید.
چطور Perplexity را بر اساس بازههای IP منتشرشدهاش مجاز کنم؟
هر کسی میتواند درخواستی بفرستد و ادعا کند PerplexityBot است؛ پس قانون مجازسازی که فقط user agent را تطبیق میدهد مقلدها را هم راه میدهد. Perplexity بازههای نشانی هر دو عامل را منتشر میکند و توصیه میکند user agent و نشانی IP با هم تطبیق داده شوند:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perplexity میگوید این فهرستها مرتب بهروز میشوند و پیشنهاد میکند بهروزرسانی قوانین WAF را خودکار کنید. قانون مجازسازی را بالاتر از هر قانونی که درخواستها را مسدود میکند یا چالش نشان میدهد قرار دهید: در قوانین سفارشی Cloudflare اول از همه، یا در AWS WAF با عدد اولویت کمتر. سپس لاگها را زیر نظر بگیرید، چون اعمال تغییرات فایروال ممکن است زمان ببرد.
آیا رندر JavaScript میتواند مانع خواندن صفحه توسط Perplexity شود؟
بله. مستندات خزنده Perplexity نمیگوید عاملهایش JavaScript اجرا میکنند یا نه؛ پس فرض مطمئن این است که متنی که خزنده لازم دارد باید در HTML ارسالی سرور باشد. صفحههایی که کاملاً در مرورگر ساخته میشوند، مثل اپلیکیشنهای تکصفحهای بدون رندر سمت سرور، ممکن است به شکل یک پوسته خالی با نشانگر بارگذاری برسند.
یک بررسی سریع: صفحه را با curl دریافت کنید و در خروجی دنبال جملهای از محتوای اصلی بگردید. اگر نبود، متن با اسکریپت اضافه میشود. رندر سمت سرور، تولید ایستا یا پیشرندر برای خزندهها این مشکل را برای همه خزندههای هوش مصنوعی یکجا حل میکند، نه فقط برای Perplexity.
اگر همه چیز باز باشد و سایتم باز هم نمایش داده نشود چه؟
خوانا بودن پیششرط است، نه تضمین. Perplexity منتشر نمیکند که منابع مورد استناد را چطور انتخاب میکند؛ پس صفحهای که همه عاملها میتوانند آن را بخوانند ممکن است باز هم به صفحههایی ببازد که مستقیمتر به سؤال پاسخ میدهند. آنچه در اختیار شماست این است که هیچ مانع فنی سر راه نباشد: عنوان صفحه روشن، پاسخ در ابتدای متن و اطلاعات دقیق که با گفتههای شما در جاهای دیگر یکی باشد.
همچنین به یاد داشته باشید robots.txt چه چیزی را پوشش نمیدهد. Perplexity میگوید Perplexity-User معمولاً robots.txt را نادیده میگیرد، چون دریافت را یک کاربر درخواست کرده است. پس قانونی برای Perplexity-User راه مطمئنی برای مسدود کردن بازدیدهای زنده نیست، و robots.txt که آن را مجاز میکند هم ثابت نمیکند که از فایروال شما عبور میکند.
AISeeWhy صفحه شما را بهعنوان PerplexityBot، Perplexity-User و 12 خزنده دیگر در کنار یک مرورگر درخواست میکند، قوانین robots.txt شما را برای هر کدام اعمال میکند، صفحههای چالش را تشخیص میدهد و نشان میدهد چه مقدار از متن بدون JavaScript میرسد؛ تا ببینید کدام حلقه زنجیره خراب است.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
منابع
- Perplexity: خزندههای Perplexity
- RFC 9309: پروتکل استثنای رباتها (Robots Exclusion Protocol)
- Cloudflare: Bot Fight Mode
- Cloudflare: Perplexity از خزندههای پنهان و اعلامنشده برای دور زدن دستورهای منع خزیدن وبسایتها استفاده میکند
- Perplexity: عامل یا ربات؟ درک هوش مصنوعی در وب باز
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11