Perplexity का क्रलर: PerplexityBot र Perplexity-User
Perplexity ले आफ्ना सर्च नतिजामा वेबसाइट देखाउन र लिंक गर्न PerplexityBot, र प्रयोगकर्ताको प्रश्नलाई चाहिँदा पेज खोल्न Perplexity-User प्रयोग गर्छ। Perplexity भन्छ PerplexityBot ले robots.txt पालना गर्छ र फाउन्डेसन मोडेल ट्रेन गर्न प्रयोग हुँदैन, जबकि ल्याउने अनुरोध प्रयोगकर्ताले गरेकाले Perplexity-User ले सामान्यतया robots.txt बेवास्ता गर्छ। Perplexity को सर्चले तपाईंका पेज प्रयोग नगरोस् भन्ने चाहनुहुन्छ भने robots.txt मा PerplexityBot निषेध गर्नुहोस्; Perplexity-User रोक्न यसका प्रकाशित IP दायरासँग मिल्ने फायरवाल नियम प्रयोग गर्नुहोस्।
Perplexity उद्धरणकै वरिपरि बनेको छ: उत्तरसँगै तिनले आधार लिएका पेजका नम्बर गरिएका लिंक आउँछन्। यसको क्रलर कागजात छोटो छ, र कुन एजेन्टले robots.txt पालना गर्छ र कुनले गर्दैन स्पष्ट बताउँछ। कुनै एकलाई नियन्त्रण गर्न चाहनुहुन्छ भने कुन उपकरण प्रयोग गर्ने भन्ने यही फरकले निर्धारण गर्छ।
यस पेजमा
PerplexityBot ले के गर्छ?
PerplexityBot Perplexity का सर्च नतिजामा वेबसाइट देखाउन र लिंक गर्न बनाइएको हो। Perplexity भन्छ यो AI फाउन्डेसन मोडेलका लागि सामग्री क्रल गर्न प्रयोग हुँदैन। Perplexity का सर्च नतिजामा देखिन Perplexity ले robots.txt मा PerplexityBot लाई अनुमति दिन सिफारिस गर्छ।
Perplexity ले यो user agent को कागजात दिन्छ:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) संस्करण नम्बर बदलिन सक्छ, त्यसैले फायरवाल नियमले PerplexityBot टोकन मिलाउनुपर्छ। Perplexity ले IP दायरा perplexity.ai/perplexitybot.json मा प्रकाशित गर्छ।
Perplexity-User ले के गर्छ?
Perplexity-User ले प्रयोगकर्ताका कार्यलाई सघाउँछ। कसैले Perplexity लाई प्रश्न सोध्दा सही उत्तर दिन मद्दत गर्न यसले कुनै वेब पेज खोल्न र त्यो पेजको लिंक समावेश गर्न सक्छ। Perplexity भन्छ यो वेब क्रल गर्न वा ट्रेनिङ डेटा सङ्कलन गर्न प्रयोग हुँदैन।
यसको कागजातमा दिइएको user agent Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) हो, र यसका IP दायरा perplexity.ai/perplexity-user.json मा प्रकाशित छन्।
robots.txt ले के नियन्त्रण गर्छ, र के गर्दैन?
मुख्य कुरा यही हो। Perplexity भन्छ ल्याउने अनुरोध प्रयोगकर्ताले गरेकाले Perplexity-User ले सामान्यतया robots.txt का नियम बेवास्ता गर्छ। PerplexityBot का लागि robots.txt समूहले सर्चका लागि इन्डेक्सिङमा असर गर्छ; यसले प्रयोगकर्ताका तर्फबाट हुने लाइभ ल्याउने कामलाई भरपर्दो रूपमा रोक्दैन।
- robots.txt मा
PerplexityBotनिषेध गर्दा: तपाईंका पेज Perplexity को सर्च इन्डेक्सका लागि क्रल हुँदैनन्, त्यसैले देखाइने र लिंक हुने सम्भावना घट्छ। - robots.txt मा
Perplexity-Userनिषेध गर्दा: Perplexity को कागजातअनुसार फेचरले सामान्यतया यसलाई बेवास्ता गर्छ, त्यसैले यो भरपर्दो नियन्त्रण होइन। - फायरवालमा
Perplexity-Userब्लक गर्दा: ल्याउने काम असफल हुन्छ, र तपाईंको पेजबारे सोध्ने प्रयोगकर्ताले त्यो बिनाको उत्तर पाउँछन्। - दुवैलाई अनुमति दिँदा: Perplexity ले तपाईंका पेज इन्डेक्स गर्न र प्रयोगकर्ताले सोध्दा तुरुन्तै पढ्न सक्छ।
Perplexity भन्छ robots.txt का हरेक सेटिङ स्वतन्त्र रूपमा काम गर्छन्, र परिवर्तन देखिन 24 घण्टासम्म लाग्न सक्छ।
Perplexity, ChatGPT र Claude भन्दा कसरी फरक छ?
तीनवटै कम्पनीले सर्च क्रलरलाई प्रयोगकर्ताले माग्दा ल्याउने फेचरबाट छुट्याउँछन्। दुई कुराले Perplexity लाई फरक बनाउँछन्। पहिलो, यसले छुट्टै ट्रेनिङ क्रलर चलाउँदैन: यसले PerplexityBot AI फाउन्डेसन मोडेलका लागि सामग्री क्रल गर्न प्रयोग हुँदैन भन्छ, त्यसैले छनोट गर्नुपर्ने ट्रेनिङ टोकन छैन। दोस्रो, यसले आफ्नो प्रयोगकर्ता फेचरले सामान्यतया robots.txt बेवास्ता गर्छ भनेर स्पष्ट भन्छ, जबकि OpenAI भन्छ ChatGPT-User मा robots.txt लागू नहुन सक्छ र Anthropic भन्छ Claude-User सहित यसका बटले robots.txt पालना गर्छन्।
व्यवहारमा यसको अर्थ हो: Perplexity को सर्च क्रलरका लागि robots.txt मा एउटा निर्णय, र प्रयोगकर्ताले माग्ने ल्याउने काम कहिल्यै रोक्न चाहनुभयो भने फायरवालमा अर्को निर्णय।
Perplexity का लागि कुन robots.txt प्रयोग गर्ने?
उद्धृत हुन चाहनुहुन्छ भने सर्च क्रलरलाई स्पष्ट रूपमा अनुमति दिनुहोस्। सम्झनुहोस्, नाम तोकिएको समूहले * बाट नियम लिँदैन, त्यसैले निजी path दोहोर्याउनुहोस्:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot ट्रेनिङ क्रलर नभएकाले मोडेल ट्रेनिङबाट opt-out गर्न यसलाई ब्लक गर्दा त्यो उद्देश्य पूरा नगरी सर्चमा तपाईंको उपस्थिति मात्र गुम्छ।
robots.txt मा sitemap सूचीबद्ध गर्नुहुन्छ भने Sitemap: लाइन कुनै समूहबाहिर वा फाइलको अन्त्यमा राख्नुहोस्; यो सबै क्रलरमा लागू हुन्छ। sitemap आफैँ तपाईंको फायरवालले ब्लक गरेको छैन भनी पनि पक्का गर्नुहोस्, किनभने त्यसलाई ल्याउन नसक्ने क्रलरले नयाँ वा बदलिएका पेज भेट्टाउन त्यसको प्रयोग गर्न सक्दैन।
फायरवालले Perplexity लाई ब्लक गर्दैन भनी कसरी पक्का गर्ने?
बट सुरक्षाले प्रायः ब्राउजरबाहेकका जुनसुकै अनुरोधलाई शङ्कास्पद मान्छ। हरेक Perplexity user agent सहित आफ्नो पेज माग्नुहोस् र प्रतिक्रियालाई ब्राउजरको अनुरोधसँग तुलना गर्नुहोस्। क्रलरले 403, 429 वा च्यालेन्ज पेज पाउँछ भने टोकन र सकेसम्म प्रकाशित IP दायरा मिलाउने allow नियम थप्नुहोस्, ताकि वास्तविक Perplexity ट्राफिक मात्र पास होस्। Cloudflare मा AI Crawl Control ले AI क्रलरलाई प्रत्येकका लागि Allow वा Block action सहित सूचीबद्ध गर्छ।
user agent मा भरोसा नगरी प्रमाणित गर्नुहोस्। जोसुकैले PerplexityBot भन्ने अनुरोध पठाउन सक्छ, त्यसैले user agent मा मात्र आधारित allow नियमले नक्कल गर्नेलाई पनि भित्र पसाउँछ, र त्यसमै आधारित ब्लक छल्न सकिन्छ। स्रोत IP लाई Perplexity का प्रकाशित सूचीसँग जाँच्दा दुवै प्रकारका नियम भरपर्दो हुन्छन्।
AISeeWhy ले PerplexityBot र Perplexity-User लाई अन्य 12 क्रलरसँगै परीक्षण गर्छ। दुवैले Perplexity ले उत्तरमा तपाईंको पेज प्रयोग गर्न सक्छ कि सक्दैन निर्धारण गर्ने भएकाले, कुनै एकको ब्लक पनि सच्याउने नियमसहित P1 का रूपमा रिपोर्ट गरिन्छ।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के Perplexity ले AI मोडेल ट्रेन गर्न मेरो सामग्री प्रयोग गर्छ?
Perplexity भन्छ न PerplexityBot न Perplexity-User नै AI फाउन्डेसन मोडेल ट्रेनिङका लागि सामग्री सङ्कलन गर्न प्रयोग हुन्छ।
Perplexity-User ले robots.txt किन बेवास्ता गर्छ?
Perplexity को तर्क यो हो कि प्रयोगकर्ताले पेज मागेको हुन्छ, त्यसैले ल्याउने काम स्वचालित क्रलिङका रूपमा होइन, त्यो प्रयोगकर्ताका तर्फबाट हुन्छ। यसको कागजात भन्छ त्यही कारणले फेचरले सामान्यतया robots.txt बेवास्ता गर्छ।
आवश्यक परे Perplexity-User लाई कसरी ब्लक गर्ने?
user agent टोकन र Perplexity का प्रकाशित IP दायरा मिलाएर आफ्नो फायरवाल वा CDN प्रयोग गर्नुहोस्। यो एजेन्टका लागि robots.txt भरपर्दो नियन्त्रण होइन।
robots.txt को परिवर्तन लागू हुन कति समय लाग्छ?
Perplexity भन्छ यसका प्रणालीमा परिवर्तन देखिन 24 घण्टासम्म लाग्न सक्छ।
के PerplexityBot ब्लक गर्दा Perplexity ले मेरो सामग्री पूरै प्रयोग गर्न छोड्छ?
छोड्दैन। यसले तपाईंका पेजलाई Perplexity को सर्च इन्डेक्सका लागि हुने क्रलबाट बाहिर राख्छ, तर प्रयोगकर्ताले सोध्दा Perplexity-User ले अझै पेज ल्याउन सक्छ, किनभने त्यो फेचरले सामान्यतया robots.txt बेवास्ता गर्छ।
स्रोतहरू
- Perplexity: Perplexity क्रलरहरू
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI क्रलर व्यवस्थापन (AI Crawl Control)