Perplexity के क्रॉलर: PerplexityBot और Perplexity-User
Perplexity अपने सर्च नतीजों में वेबसाइटों को दिखाने और लिंक करने के लिए PerplexityBot, और उपयोगकर्ता के सवाल के लिए ज़रूरत पड़ने पर पेज खोलने के लिए Perplexity-User इस्तेमाल करती है। Perplexity कहती है कि PerplexityBot robots.txt का पालन करता है और फ़ाउंडेशन मॉडल की ट्रेनिंग में इस्तेमाल नहीं होता, जबकि Perplexity-User आम तौर पर robots.txt को नज़रअंदाज़ करता है क्योंकि फ़ेच किसी उपयोगकर्ता ने मांगा था।
Perplexity हवालों के इर्द-गिर्द बनी है: उत्तरों के साथ उन पेजों के क्रमांकित लिंक आते हैं जिन पर वे आधारित हैं। उसके क्रॉलर दस्तावेज़ छोटे हैं, और साफ़ बताते हैं कि कौन-सा एजेंट robots.txt का पालन करता है और कौन-सा नहीं। यही फ़र्क़ तय करता है कि किसी को भी नियंत्रित करना हो तो आप कौन-सा औज़ार इस्तेमाल करें।
इस पेज पर
PerplexityBot क्या करता है?
PerplexityBot Perplexity के सर्च नतीजों में वेबसाइटों को सामने लाने और लिंक करने के लिए बनाया गया है। Perplexity कहती है कि यह AI फ़ाउंडेशन मॉडल के लिए कंटेंट क्रॉल करने में इस्तेमाल नहीं होता। Perplexity के सर्च नतीजों में दिखने के लिए, वह robots.txt में PerplexityBot को allow करने की सलाह देती है।
Perplexity यह user agent दस्तावेज़ित करती है:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)वर्शन नंबर बदल सकता है, इसलिए फ़ायरवॉल नियमों को टोकन PerplexityBot से मिलान करना चाहिए। Perplexity IP रेंज perplexity.ai/perplexitybot.json पर प्रकाशित करती है।
Perplexity-User क्या करता है?
Perplexity-User उपयोगकर्ता की कार्रवाइयों में मदद करता है। जब कोई Perplexity से सवाल पूछता है, तो वह सटीक उत्तर देने के लिए किसी वेब पेज पर जा सकती है और उस पेज का लिंक शामिल कर सकती है। Perplexity कहती है कि यह वेब क्रॉल करने या ट्रेनिंग डेटा जुटाने के लिए इस्तेमाल नहीं होता।
इसका दस्तावेज़ित user agent Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) है, और इसकी IP रेंज perplexity.ai/perplexity-user.json पर प्रकाशित हैं।
robots.txt क्या नियंत्रित करता है, और क्या नहीं?
यह मुख्य बात है। Perplexity कहती है कि चूंकि फ़ेच उपयोगकर्ता ने मांगा था, Perplexity-User आम तौर पर robots.txt नियमों को नज़रअंदाज़ करता है। PerplexityBot का robots.txt ग्रुप सर्च के लिए इंडेक्सिंग को प्रभावित करता है; यह उपयोगकर्ता की ओर से होने वाले लाइव फ़ेच को भरोसेमंद ढंग से नहीं रोकता।
- robots.txt में
PerplexityBotको disallow करें: आपके पेज Perplexity के सर्च इंडेक्स के लिए क्रॉल नहीं होते, इसलिए उनके दिखाए और लिंक किए जाने की संभावना कम हो जाती है। - robots.txt में
Perplexity-Userको disallow करें: Perplexity के दस्तावेज़ों के अनुसार फ़ेचर इसे आम तौर पर नज़रअंदाज़ करता है, इसलिए यह भरोसेमंद नियंत्रण नहीं है। - फ़ायरवॉल पर
Perplexity-Userको ब्लॉक करें: फ़ेच विफल हो जाता है, और आपके पेज के बारे में पूछने वाले उपयोगकर्ताओं को उसके बिना उत्तर मिलता है। - दोनों को allow करें: Perplexity आपके पेज इंडेक्स कर सकती है और उपयोगकर्ता के पूछने पर उन्हें लाइव पढ़ सकती है।
Perplexity कहती है कि robots.txt की हर सेटिंग स्वतंत्र रूप से काम करती है, और बदलाव दिखने में 24 घंटे तक लग सकते हैं।
Perplexity, ChatGPT और Claude से कैसे अलग है?
तीनों वेंडर सर्च क्रॉलर को उपयोगकर्ता-अनुरोधित फ़ेचर से अलग रखते हैं। दो बातें Perplexity को अलग करती हैं। पहली, वह अलग ट्रेनिंग क्रॉलर नहीं चलाती: वह कहती है कि PerplexityBot AI फ़ाउंडेशन मॉडल के लिए कंटेंट क्रॉल करने में इस्तेमाल नहीं होता, इसलिए चुनने के लिए कोई ट्रेनिंग टोकन नहीं है। दूसरी, वह साफ़ कहती है कि उसका यूज़र फ़ेचर आम तौर पर robots.txt को नज़रअंदाज़ करता है, जबकि OpenAI कहती है कि ChatGPT-User पर robots.txt लागू न भी हो और Anthropic कहती है कि उसके बॉट, Claude-User समेत, robots.txt का सम्मान करते हैं।
व्यवहार में इसका मतलब है: Perplexity के सर्च क्रॉलर के लिए robots.txt में एक फ़ैसला, और अगर आप कभी उपयोगकर्ता-अनुरोधित फ़ेच रोकना चाहें तो फ़ायरवॉल का फ़ैसला।
Perplexity के लिए मुझे कौन-सा robots.txt इस्तेमाल करना चाहिए?
अगर आप उद्धृत होना चाहते हैं, तो सर्च क्रॉलर को साफ़ तौर पर allow करें। याद रखें कि नामित ग्रुप * से नियम विरासत में नहीं लेता, इसलिए निजी पाथ दोहराएं:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/चूंकि PerplexityBot ट्रेनिंग क्रॉलर नहीं है, मॉडल ट्रेनिंग से बाहर रहने के लिए उसे ब्लॉक करने से सर्च में आपकी दृश्यता जाएगी, पर वह लक्ष्य पूरा नहीं होगा।
अगर आप robots.txt में साइटमैप सूचीबद्ध करते हैं, तो Sitemap: पंक्ति को किसी भी ग्रुप के बाहर या फ़ाइल के अंत में रखें; यह सभी क्रॉलर पर लागू होती है। यह भी देखें कि साइटमैप को ही आपका फ़ायरवॉल ब्लॉक न कर रहा हो, क्योंकि जो क्रॉलर उसे फ़ेच नहीं कर सकता, वह उससे नए या बदले पेज नहीं ढूंढ सकता।
मैं कैसे पक्का करूं कि फ़ायरवॉल Perplexity को ब्लॉक न करे?
बॉट प्रोटेक्शन अक्सर ब्राउज़र से न आने वाले हर अनुरोध को संदिग्ध मानता है। Perplexity के हर user agent से अपना पेज मांगें और जवाब की तुलना ब्राउज़र के अनुरोध से करें। अगर क्रॉलर को 403, 429 या चैलेंज पेज मिलता है, तो ऐसा allow नियम जोड़ें जो टोकन और, बेहतर हो तो, प्रकाशित IP रेंज से मेल खाए, ताकि केवल असली Perplexity ट्रैफ़िक अंदर आए। Cloudflare में AI Crawl Control हर AI क्रॉलर के लिए Allow या Block एक्शन के साथ उन्हें सूचीबद्ध करता है।
user agent पर भरोसा करने की जगह सत्यापित करें। कोई भी ऐसा अनुरोध भेज सकता है जो PerplexityBot कहे, इसलिए सिर्फ़ user agent पर आधारित allow नियम नक़लचियों को भी अंदर आने देता है, और उस पर आधारित ब्लॉक से बचा जा सकता है। स्रोत IP को Perplexity की प्रकाशित सूचियों से मिलाने पर दोनों तरह के नियम भरोसेमंद बन जाते हैं।
AISeeWhy PerplexityBot और Perplexity-User को 12 अन्य क्रॉलर के साथ टेस्ट करता है। क्योंकि दोनों तय करते हैं कि Perplexity आपके पेज को उत्तर में इस्तेमाल कर सकती है या नहीं, इसलिए किसी का भी ब्लॉक P1 के रूप में रिपोर्ट होता है, सुधार के नियम के साथ।
अक्सर पूछे जाने वाले प्रश्न
क्या Perplexity मेरे कंटेंट का इस्तेमाल AI मॉडल की ट्रेनिंग में करती है?
Perplexity कहती है कि न PerplexityBot और न Perplexity-User AI फ़ाउंडेशन मॉडल की ट्रेनिंग के लिए कंटेंट जुटाने में इस्तेमाल होता है।
Perplexity-User robots.txt को नज़रअंदाज़ क्यों करता है?
Perplexity का तर्क है कि पेज उपयोगकर्ता ने मांगा था, इसलिए फ़ेच स्वचालित क्रॉलिंग की तरह नहीं, उस उपयोगकर्ता की ओर से होता है। उसके दस्तावेज़ कहते हैं कि इसी वजह से फ़ेचर आम तौर पर robots.txt को नज़रअंदाज़ करता है।
ज़रूरत पड़ने पर मैं Perplexity-User को कैसे ब्लॉक करूं?
अपना फ़ायरवॉल या CDN इस्तेमाल करें, और user agent टोकन तथा Perplexity की प्रकाशित IP रेंज से मिलान करें। इस एजेंट के लिए robots.txt भरोसेमंद नियंत्रण नहीं है।
robots.txt का बदलाव लागू होने में कितना समय लगता है?
Perplexity कहती है कि उसके सिस्टम को बदलाव दिखाने में 24 घंटे तक लग सकते हैं।
क्या PerplexityBot को ब्लॉक करने से Perplexity मेरे कंटेंट का बिल्कुल इस्तेमाल नहीं करेगी?
नहीं। इससे आपके पेज Perplexity के सर्च इंडेक्स के क्रॉल से बाहर रहते हैं, पर Perplexity-User फिर भी पेज फ़ेच कर सकता है जब कोई उपयोगकर्ता उसके बारे में पूछे, क्योंकि वह फ़ेचर आम तौर पर robots.txt को नज़रअंदाज़ करता है।
स्रोत
- Perplexity: Perplexity क्रॉलर
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI क्रॉलर का प्रबंधन (AI Crawl Control)