خزندههای Perplexity: PerplexityBot و Perplexity-User
Perplexity از PerplexityBot برای نمایش وبسایتها و لینک دادن به آنها در نتایج جستجویش استفاده میکند و از Perplexity-User برای بازدید از صفحهها وقتی سؤال کاربر به آنها نیاز دارد. Perplexity میگوید PerplexityBot از robots.txt پیروی میکند و برای آموزش مدلهای پایه استفاده نمیشود، در حالی که Perplexity-User معمولاً robots.txt را نادیده میگیرد چون دریافت را یک کاربر درخواست کرده است. برای اینکه جستجوی Perplexity از صفحههای شما استفاده نکند، PerplexityBot را در robots.txt ممنوع کنید؛ برای متوقف کردن Perplexity-User از قانون فایروالی استفاده کنید که با بازههای IP منتشرشده آن تطبیق دارد.
Perplexity بر پایه استناد ساخته شده است: پاسخها با لینکهای شمارهدار به صفحههایی که از آنها استفاده کردهاند همراهاند. مستندات خزنده آن کوتاه است و بهروشنی میگوید کدام عامل از robots.txt پیروی میکند و کدام نه. همین تفاوت تعیین میکند برای کنترل هر کدام از چه ابزاری استفاده کنید.
در این صفحه
PerplexityBot چه کاری انجام میدهد؟
PerplexityBot برای نمایش وبسایتها و لینک دادن به آنها در نتایج جستجوی Perplexity طراحی شده است. Perplexity میگوید از آن برای خزیدن محتوا برای مدلهای پایه هوش مصنوعی استفاده نمیشود. برای ظاهر شدن در نتایج جستجوی Perplexity، این شرکت توصیه میکند PerplexityBot را در robots.txt مجاز کنید.
Perplexity این user agent را مستند کرده است:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) شماره نسخه ممکن است تغییر کند؛ پس قوانین فایروال باید توکن PerplexityBot را تطبیق دهند. Perplexity بازههای IP را در perplexity.ai/perplexitybot.json منتشر میکند.
Perplexity-User چه کاری انجام میدهد؟
Perplexity-User از کارهای کاربران پشتیبانی میکند. وقتی کسی از Perplexity سؤالی میپرسد، ممکن است برای دادن پاسخ دقیق به یک صفحه وب سر بزند و لینکی به آن صفحه بیاورد. Perplexity میگوید از آن برای خزیدن وب یا جمعآوری داده آموزشی استفاده نمیشود.
user agent مستندشده آن Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) است و بازههای IP آن در perplexity.ai/perplexity-user.json منتشر شدهاند.
robots.txt چه چیزی را کنترل میکند و چه چیزی را نه؟
نکته کلیدی همین است. Perplexity میگوید چون دریافت را یک کاربر درخواست کرده، Perplexity-User معمولاً قوانین robots.txt را نادیده میگیرد. گروه robots.txt برای PerplexityBot روی ایندکس برای جستجو اثر دارد؛ اما بهطور مطمئن جلوی دریافتهای زنده از طرف کاربر را نمیگیرد.
- ممنوع کردن
PerplexityBotدر robots.txt: صفحههای شما برای نمایه جستجوی Perplexity خزیده نمیشوند، پس احتمال نمایش و لینک داده شدنشان کمتر است. - ممنوع کردن
Perplexity-Userدر robots.txt: طبق مستندات Perplexity، این دریافتکننده معمولاً آن را نادیده میگیرد؛ پس کنترل قابل اتکایی نیست. - مسدود کردن
Perplexity-Userدر فایروال: دریافت ناموفق میشود و کاربرانی که درباره صفحه شما میپرسند پاسخی بدون آن میگیرند. - مجاز کردن هر دو: Perplexity میتواند صفحههای شما را ایندکس کند و وقتی کاربری میپرسد آنها را زنده بخواند.
Perplexity میگوید هر تنظیم robots.txt مستقل کار میکند و اعمال تغییرات ممکن است تا 24 ساعت طول بکشد.
Perplexity چه فرقی با ChatGPT و Claude دارد؟
هر سه شرکت خزنده جستجو را از دریافتکننده درخواستی کاربر جدا میکنند. دو جزئیات Perplexity را متمایز میکند. اول، خزنده آموزشی جداگانهای ندارد: میگوید از PerplexityBot برای خزیدن محتوا برای مدلهای پایه هوش مصنوعی استفاده نمیشود؛ پس توکن آموزشی برای تصمیمگیری وجود ندارد. دوم، صریحاً میگوید دریافتکننده کاربرش معمولاً robots.txt را نادیده میگیرد، در حالی که OpenAI میگوید ممکن است robots.txt روی ChatGPT-User اعمال نشود و Anthropic میگوید رباتهایش، از جمله Claude-User، به robots.txt احترام میگذارند.
در عمل یعنی یک تصمیم در robots.txt برای خزنده جستجوی Perplexity، و یک تصمیم در فایروال اگر روزی بخواهید جلوی دریافتهای درخواستی کاربر را بگیرید.
برای Perplexity از چه robots.txt استفاده کنم؟
اگر میخواهید به شما استناد شود، خزنده جستجو را صریحاً مجاز کنید. به یاد داشته باشید گروه نامدار قوانین را از * به ارث نمیبرد؛ پس مسیرهای خصوصی را تکرار کنید:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ چون PerplexityBot خزنده آموزشی نیست، مسدود کردن آن برای خارج شدن از آموزش مدل بدون رسیدن به آن هدف، دیده شدن در جستجو را از شما میگیرد.
اگر نقشه سایت را در robots.txt میآورید، خط Sitemap: را بیرون از هر گروه یا در انتهای فایل نگه دارید؛ این خط روی همه خزندهها اعمال میشود. همچنین مطمئن شوید خود نقشه سایت توسط فایروال مسدود نشده است، چون خزندهای که نتواند آن را دریافت کند نمیتواند از آن برای پیدا کردن صفحههای جدید یا تغییرکرده استفاده کند.
چطور مطمئن شوم فایروال Perplexity را مسدود نمیکند؟
محافظ ربات اغلب هر درخواستی را که از مرورگر نباشد مشکوک میداند. صفحه خود را با هر user agent مربوط به Perplexity درخواست کنید و پاسخ را با درخواست مرورگر مقایسه کنید. اگر خزنده خطای 403، 429 یا صفحه چالش گرفت، یک قانون مجازسازی اضافه کنید که توکن و در حالت ایدهآل بازههای IP منتشرشده را تطبیق دهد تا فقط ترافیک واقعی Perplexity عبور کند. در Cloudflare، بخش AI Crawl Control خزندههای هوش مصنوعی را با اقدام Allow یا Block برای هر کدام فهرست میکند.
بهجای اعتماد به user agent، آن را تأیید کنید. هر کسی میتواند درخواستی بفرستد که بگوید PerplexityBot است؛ پس قانون مجازسازی که فقط بر user agent تکیه دارد مقلدها را هم راه میدهد و مسدودسازی بر همین پایه را هم میتوان دور زد. مقایسه IP مبدأ با فهرستهای منتشرشده Perplexity هر دو نوع قانون را قابل اتکا میکند.
AISeeWhy، PerplexityBot و Perplexity-User را در کنار 12 خزنده دیگر میآزماید. چون هر دو تعیین میکنند Perplexity میتواند از صفحه شما در پاسخ استفاده کند یا نه، مسدود شدن هر کدام بهعنوان P1 همراه با قانون رفع آن گزارش میشود.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا Perplexity از محتوای من برای آموزش مدلهای هوش مصنوعی استفاده میکند؟
Perplexity میگوید نه PerplexityBot و نه Perplexity-User برای جمعآوری محتوا برای آموزش مدلهای پایه هوش مصنوعی استفاده نمیشوند.
چرا Perplexity-User robots.txt را نادیده میگیرد؟
استدلال Perplexity این است که کاربر صفحه را خواسته؛ پس دریافت از طرف همان کاربر انجام میشود، نه بهعنوان خزیدن خودکار. مستندات آن میگوید به همین دلیل این دریافتکننده معمولاً robots.txt را نادیده میگیرد.
اگر لازم باشد چطور Perplexity-User را مسدود کنم؟
از فایروال یا CDN استفاده کنید و توکن user agent و بازههای IP منتشرشده Perplexity را تطبیق دهید. robots.txt برای این عامل کنترل قابل اتکایی نیست.
اعمال تغییر robots.txt چقدر طول میکشد؟
Perplexity میگوید ممکن است تا 24 ساعت طول بکشد تا سیستمهایش تغییرات را اعمال کنند.
آیا مسدود کردن PerplexityBot کاملاً جلوی استفاده Perplexity از محتوای من را میگیرد؟
نه. صفحههای شما را از خزش برای نمایه جستجوی Perplexity بیرون نگه میدارد، اما Perplexity-User همچنان میتواند وقتی کاربری درباره صفحهای میپرسد آن را دریافت کند، چون این دریافتکننده معمولاً robots.txt را نادیده میگیرد.
منابع
- Perplexity: خزندههای Perplexity
- RFC 9309: پروتکل استثنای رباتها (Robots Exclusion Protocol)
- Cloudflare: مدیریت خزندههای هوش مصنوعی (AI Crawl Control)