Perplexity चे क्रॉलर: PerplexityBot आणि Perplexity-User
Perplexity त्याच्या सर्च निकालांमध्ये वेबसाइट दाखवण्यासाठी आणि लिंक करण्यासाठी PerplexityBot, आणि युजरच्या प्रश्नासाठी गरज पडल्यावर पेजेसना भेट देण्यासाठी Perplexity-User वापरते. Perplexity सांगते की PerplexityBot robots.txt पाळतो आणि फाउंडेशन मॉडेल ट्रेन करण्यासाठी वापरला जात नाही, तर Perplexity-User साधारणपणे robots.txt कडे दुर्लक्ष करतो, कारण पेज मिळवण्याची विनंती युजरने केलेली असते. Perplexity च्या सर्चने तुमची पेजेस वापरू नयेत असे वाटत असेल तर robots.txt मध्ये PerplexityBot नाकारा; Perplexity-User थांबवण्यासाठी त्याच्या प्रकाशित IP रेंजशी जुळणारा फायरवॉल नियम वापरा.
Perplexity संदर्भांभोवती उभारलेले आहे: उत्तरांसोबत ते ज्या पेजेसवर आधारित आहेत त्यांच्या क्रमांकित लिंक येतात. त्याचे क्रॉलर दस्तऐवज छोटे आहेत, आणि कोणता एजंट robots.txt पाळतो आणि कोणता नाही हे ते स्पष्टपणे सांगतात. दोघांपैकी कोणत्याही एकाला नियंत्रित करायचे असल्यास कोणते साधन वापरायचे हे हाच फरक ठरवतो.
या पेजवर
PerplexityBot काय करतो?
PerplexityBot हा Perplexity च्या सर्च निकालांमध्ये वेबसाइट दाखवण्यासाठी आणि लिंक करण्यासाठी बनवला आहे. Perplexity सांगते की AI फाउंडेशन मॉडेलसाठी मजकूर क्रॉल करण्यासाठी तो वापरला जात नाही. Perplexity च्या सर्च निकालांमध्ये दिसण्यासाठी, robots.txt मध्ये PerplexityBot ला परवानगी द्यावी अशी Perplexity ची शिफारस आहे.
Perplexity हा युजर एजंट दस्तऐवजात देते:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) आवृत्ती क्रमांक बदलू शकतो, त्यामुळे फायरवॉल नियमांनी PerplexityBot टोकनशी जुळणी करावी. Perplexity IP रेंज perplexity.ai/perplexitybot.json वर प्रकाशित करते.
Perplexity-User काय करतो?
Perplexity-User युजरच्या कृतींना मदत करतो. कोणी Perplexity ला प्रश्न विचारल्यावर, अचूक उत्तर देण्यासाठी तो वेब पेजला भेट देऊ शकतो आणि त्या पेजची लिंक समाविष्ट करू शकतो. Perplexity सांगते की तो वेब क्रॉलिंगसाठी किंवा ट्रेनिंग डेटा गोळा करण्यासाठी वापरला जात नाही.
त्याचा दस्तऐवजातील युजर एजंट Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) आहे, आणि त्याच्या IP रेंज perplexity.ai/perplexity-user.json वर प्रकाशित आहेत.
robots.txt काय नियंत्रित करते, आणि काय नाही?
हा मुख्य मुद्दा आहे. Perplexity सांगते की पेज मिळवण्याची विनंती युजरने केलेली असल्यामुळे Perplexity-User साधारणपणे robots.txt नियमांकडे दुर्लक्ष करतो. PerplexityBot साठीचा robots.txt गट सर्चसाठीच्या इंडेक्सिंगवर परिणाम करतो; तो युजरच्या वतीने होणारे लाइव्ह फेच विश्वासार्हपणे थांबवत नाही.
- robots.txt मध्ये
PerplexityBotनाकारा: तुमची पेजेस Perplexity च्या सर्च इंडेक्ससाठी क्रॉल होत नाहीत, त्यामुळे ती दाखवली आणि लिंक केली जाण्याची शक्यता कमी होते. - robots.txt मध्ये
Perplexity-Userनाकारा: Perplexity च्या दस्तऐवजानुसार फेचर साधारणपणे याकडे दुर्लक्ष करतो, त्यामुळे हे भरवशाचे नियंत्रण नाही. - फायरवॉलवर
Perplexity-Userब्लॉक करा: पेज मिळवणे अपयशी ठरते, आणि तुमच्या पेजबद्दल विचारणाऱ्या युजरना त्याशिवायचे उत्तर मिळते. - दोघांनाही परवानगी द्या: Perplexity तुमची पेजेस इंडेक्स करू शकते आणि युजर विचारतो तेव्हा ती लाइव्ह वाचू शकते.
Perplexity सांगते की प्रत्येक robots.txt सेटिंग स्वतंत्रपणे काम करते, आणि बदल दिसण्यास 24 तासांपर्यंत लागू शकतात.
Perplexity हे ChatGPT आणि Claude पेक्षा वेगळे कसे आहे?
तिन्ही कंपन्या सर्च क्रॉलर आणि युजरने मागितलेला फेचर वेगळे ठेवतात. दोन तपशील Perplexity ला वेगळे ठरवतात. पहिला, ते वेगळा ट्रेनिंग क्रॉलर चालवत नाही: ते सांगते की PerplexityBot AI फाउंडेशन मॉडेलसाठी मजकूर क्रॉल करण्यासाठी वापरला जात नाही, त्यामुळे निर्णय घेण्यासाठी कोणतेही ट्रेनिंग टोकन नाही. दुसरा, त्याचा युजर फेचर साधारणपणे robots.txt कडे दुर्लक्ष करतो हे ते स्पष्ट सांगते, तर OpenAI सांगते की ChatGPT-User ला robots.txt लागू होईलच असे नाही आणि Anthropic सांगते की Claude-User सह त्याचे बॉट robots.txt पाळतात.
व्यवहारात याचा अर्थ: Perplexity च्या सर्च क्रॉलरसाठी robots.txt मध्ये एकच निर्णय, आणि युजरने मागितलेले फेच कधी थांबवायचे असल्यास फायरवॉलचा निर्णय.
Perplexity साठी मी कोणती robots.txt वापरावी?
तुमचा संदर्भ दिला जावा असे वाटत असल्यास, सर्च क्रॉलरला स्पष्टपणे परवानगी द्या. लक्षात ठेवा की नाव असलेला गट * कडून नियम वारसा घेत नाही, त्यामुळे सर्व खाजगी पाथ पुन्हा लिहा:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot ट्रेनिंग क्रॉलर नसल्यामुळे, मॉडेल ट्रेनिंगमधून बाहेर पडण्यासाठी त्याला ब्लॉक केल्यास ते उद्दिष्ट साध्य न होता सर्च दृश्यमानता गमावली जाईल.
robots.txt मध्ये sitemap सूचीबद्ध करत असल्यास, Sitemap: ओळ कोणत्याही गटाबाहेर किंवा फाइलच्या शेवटी ठेवा; ती सर्व क्रॉलरना लागू होते. sitemap स्वतः तुमच्या फायरवॉलने ब्लॉक होत नाही याचीही खात्री करा, कारण जो क्रॉलर ती मिळवू शकत नाही तो नवी किंवा बदललेली पेजेस शोधण्यासाठी ती वापरू शकत नाही.
फायरवॉल Perplexity ला ब्लॉक करत नाही याची खात्री कशी करावी?
बॉट संरक्षण अनेकदा ब्राउझर नसलेली कोणतीही विनंती संशयास्पद मानते. प्रत्येक Perplexity युजर एजंटसह तुमचे पेज मागवा आणि प्रतिसादाची ब्राउझर विनंतीशी तुलना करा. क्रॉलरला 403, 429 किंवा चॅलेंज पेज मिळत असल्यास, टोकनशी आणि शक्यतो प्रकाशित IP रेंजशी जुळणारा allow नियम जोडा, जेणेकरून फक्त खरा Perplexity ट्रॅफिक आत येईल. Cloudflare मध्ये AI Crawl Control AI क्रॉलरची यादी प्रत्येकासाठी Allow किंवा Block action सह दाखवते.
युजर एजंटवर विश्वास ठेवण्याऐवजी पडताळणी करा. कोणीही PerplexityBot असे सांगणारी विनंती पाठवू शकतो, त्यामुळे फक्त युजर एजंटवर आधारित allow नियम तोतयांनाही आत येऊ देतो, आणि त्यावर आधारित ब्लॉक चुकवता येतो. Perplexity च्या प्रकाशित याद्यांशी स्रोत IP तपासल्याने दोन्ही प्रकारचे नियम विश्वासार्ह होतात.
AISeeWhy इतर 12 क्रॉलरसोबत PerplexityBot आणि Perplexity-User ची चाचणी करते. Perplexity तुमचे पेज उत्तरात वापरू शकते का हे दोघेही ठरवत असल्यामुळे, दोघांपैकी कोणाचाही ब्लॉक तो दुरुस्त करणाऱ्या नियमासह P1 म्हणून दाखवला जातो.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
Perplexity माझा मजकूर AI मॉडेल ट्रेन करण्यासाठी वापरते का?
Perplexity सांगते की PerplexityBot किंवा Perplexity-User यांपैकी कोणीही AI फाउंडेशन मॉडेलच्या ट्रेनिंगसाठी मजकूर गोळा करण्यासाठी वापरला जात नाही.
Perplexity-User robots.txt कडे दुर्लक्ष का करतो?
Perplexity चा तर्क असा की युजरने पेज मागितले, त्यामुळे पेज मिळवणे स्वयंचलित क्रॉलिंग नव्हे तर त्या युजरच्या वतीने केलेली कृती आहे. त्याचे दस्तऐवज सांगतात की याच कारणाने फेचर साधारणपणे robots.txt कडे दुर्लक्ष करतो.
गरज पडल्यास मी Perplexity-User ला कसे ब्लॉक करू?
तुमचा फायरवॉल किंवा CDN वापरा, युजर एजंट टोकन आणि Perplexity च्या प्रकाशित IP रेंजशी जुळणी करून. या एजंटसाठी robots.txt हे भरवशाचे नियंत्रण नाही.
robots.txt मधील बदल लागू होण्यास किती वेळ लागतो?
Perplexity सांगते की त्याच्या सिस्टममध्ये बदल दिसण्यास 24 तासांपर्यंत लागू शकतात.
PerplexityBot ब्लॉक केल्याने Perplexity माझा मजकूर अजिबात वापरणार नाही का?
नाही. त्याने तुमची पेजेस Perplexity च्या सर्च इंडेक्ससाठीच्या क्रॉलमधून बाहेर राहतात, पण युजरने विचारल्यावर Perplexity-User तरीही पेज मिळवू शकतो, कारण हा फेचर साधारणपणे robots.txt कडे दुर्लक्ष करतो.
स्रोत
- Perplexity: Perplexity क्रॉलर
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI क्रॉलरचे व्यवस्थापन (AI Crawl Control)