मेरो साइट Perplexity मा किन देखिँदैन?
करिब 30 सेकेन्डमा थाहा पाउनुहोस् कि PerplexityBot ले तपाईंको पेजमा पुग्न सक्छ कि सक्दैन, र कुन ब्लक (robots.txt, फायरवाल वा JavaScript) ले तपाईंलाई यसका उत्तरबाट बाहिर राखेको छ।
निःशुल्क · साइन-अप चाहिँदैन · ३० सेकेन्डमा नतिजा
PerplexityBot का लागि robots.txt
PerplexityBot मा लागू हुने समूह RFC 9309 का नियमअनुसार पढिन्छ, र निर्णय गर्ने लाइन देखाइन्छ।
फायरवाल र CDN ब्लक
क्रलरले मात्र पाउने 403, 429 वा च्यालेन्ज पेज चिन्ह लगाइन्छ, र जवाफ दिने फायरवालको नाम देखाइन्छ।
पेजले के फर्काउँछ
क्रलरका लागि स्टेटस, साइज र रिडाइरेक्टलाई सामान्य ब्राउजरको सँग तुलना गरिन्छ, ताकि क्रलरलाई कम सामग्री दिइएको स्पष्ट देखियोस्।
हरेक नतिजाको समाधान
हरेक नतिजासँगै गर्नुपर्ने परिवर्तन दिइन्छ। निःशुल्क जाँचले तपाईंको स्कोर र पहिलो नतिजा देखाउँछ; पूर्ण रिपोर्ट $29 हो, एक पटकको।
Perplexity ले PerplexityBot लाई क्रल गर्न अनुमति भएका र उसले वास्तवमा पाउने पेज मात्र देखाउन र लिंक गर्न सक्छ। सामान्य कारणहरू हुन्: PerplexityBot लाई निषेध गर्ने robots.txt नियम, यसलाई 403 वा च्यालेन्ज पेज दिने फायरवाल वा CDN, र JavaScript चलेपछि मात्र देखिने पाठ। तीनवटै जाँच्नुहोस्, त्यसपछि Perplexity ले प्रकाशित गरेका IP दायरालाई अनुमति दिनुहोस्। Perplexity ले तपाईंलाई नभई प्रतिस्पर्धीलाई उद्धृत गर्छ भने पहिले यी ब्लक हटाउनुहोस्, अनि उही प्रश्नका लागि यसले उद्धृत गरेको पेजसँग आफ्नो पेज तुलना गर्नुहोस्।
3 चरणमा ब्लक पत्ता लगाउनुहोस्
- robots.txt जाँच्नुहोस्
PerplexityBotको नाम लिने समूह खोज्नुहोस्। त्यस्तो समूह छैन भनेUser-agent: *समूह लागू हुन्छ, र नाम लिइएको समूहले*लाई पूरै बदल्छ। - ब्राउजर र क्रलर तुलना गर्नुहोस्
पेजलाई ब्राउजरका रूपमा र Perplexity का हरेक एजेन्टका रूपमा माग्नुहोस्। एजेन्टलाई मात्र 403, 429 वा 503 आउनु,
Just a moment...पेज आउनु वा धेरै सानो 200 आउनुले फायरवालतिर संकेत गर्छ। - पेजको सोर्स हेर्नुहोस्
curlले पेज ल्याउनुहोस् र मुख्य सामग्रीको एउटा वाक्य खोज्नुहोस्। त्यो छैन भने स्क्रिप्टले पाठ थप्छ: यसलाई सर्भरमै रेन्डर गर्नुहोस्।
बारम्बार सोधिने प्रश्नहरू
Perplexity ले मलाई नभई मेरो प्रतिस्पर्धीलाई किन सिफारिस गर्छ?
Perplexity ले स्रोत कसरी छान्छ प्रकाशित गर्दैन, तर यसले आफ्ना एजेन्टले पढ्न सक्ने पेज मात्र उद्धृत गर्न सक्छ। पहिले PerplexityBot र Perplexity-User ले तपाईंको पेज पाउँछन् भनेर पक्का गर्नुहोस्। पाउँछन् भने, उही प्रश्नका लागि Perplexity ले उद्धृत गर्ने पेज खोलेर तुलना गर्नुहोस्: के तपाईंको पेजले ठ्याक्कै त्यो प्रश्नको उत्तर माथितिरै, तथ्य पाठमा लेखेर दिन्छ? AISeeWhy को AI मा दृश्यता जाँचले तपाईंका ग्राहकका प्रश्न Perplexity र अरू तीन असिस्टेन्टलाई सोध्छ र तपाईंको छेउमा कुन प्रतिस्पर्धीको नाम आउँछ देखाउँछ।
के Perplexity ले मेरो सामग्रीमा आफ्ना मोडेल ट्रेन गर्छ?
Perplexity भन्छ PerplexityBot AI फाउन्डेसन मोडेलका लागि सामग्री क्रल गर्न प्रयोग हुँदैन र Perplexity-User ले ट्रेनिङका लागि सामग्री सङ्कलन गर्दैन। त्यसैले PerplexityBot निषेध गर्नु ट्रेनिङबाट बाहिरिने उपाय होइन; यसले Perplexity का सर्च नतिजामा तपाईं देखिने सम्भावना मात्र घटाउँछ।
robots.txt सच्याएपछि Perplexity ले कति समयमा थाहा पाउँछ?
Perplexity भन्छ यसका प्रणालीमा robots.txt का परिवर्तन देखिन 24 घण्टासम्म लाग्न सक्छ। फायरवालका परिवर्तन तपाईंको प्रदायकले लागू गरेपछि प्रभावकारी हुन्छन्, तर नतिजा आँकलन गर्नुअघि क्रलरलाई फर्किन समय दिनुहोस्।
के म robots.txt ले Perplexity-User लाई ब्लक गर्न सक्छु?
भरपर्दो रूपमा सक्नुहुन्न। Perplexity भन्छ यो फेचरले सामान्यतया robots.txt बेवास्ता गर्छ, किनभने ल्याउने अनुरोध प्रयोगकर्ताले गरेको हुन्छ। यसलाई रोक्नु छ भने यसका प्रकाशित IP दायरासँग मिलाइएको फायरवाल नियम भरपर्दो नियन्त्रण हो।
के Perplexity को ट्राफिक चिन्न user agent जाँच मात्र पर्याप्त छ?
होइन। user agent नक्कल गर्न सजिलो छ। स्रोत IP लाई Perplexity ले perplexitybot.json र perplexity-user.json मा प्रकाशित गरेका दायरासँग तुलना गर्नुहोस्, र फायरवाल नियममा user agent र IP दुवै मिलाउनुहोस्।
पूर्ण गाइड पढ्नुहोस्
तपाईं Perplexity लाई आफ्नो उत्पादनबारे सोध्नुहुन्छ, र यसले प्रतिस्पर्धी, समीक्षा साइट वा फोरमको थ्रेड उद्धृत गर्छ, तर तपाईंका आफ्नै पेज कहिल्यै होइन। कहिलेकाहीँ यो सान्दर्भिकताको कुरा हो। धेरैजसो यो प्राविधिक ब्लक हो, जुन केही मिनेटमै भेट्टाउन सकिन्छ। Perplexity ले आफू कुन एजेन्ट प्रयोग गर्छ, प्रत्येकले के गर्छ र तिनको ट्राफिक कहाँबाट आउँछ भनेर कागजातमा लेखेको छ, त्यसैले शृङ्खलाको हरेक कडी जाँच्न सकिन्छ: robots.txt, तपाईंको सर्भरले पठाउने प्रतिक्रिया, र त्यस प्रतिक्रियामा के छ।
Perplexity ले पेज कसरी भेट्टाउँछ र पढ्छ?
Perplexity ले दुईवटा एजेन्टको कागजात दिएको छ। तिनको काम फरक छ, र कुनै एउटामा समस्या भए पनि तपाईंको पेज उत्तरबाट बाहिर रहन सक्छ।
PerplexityBotPerplexity का सर्च नतिजामा वेबसाइट देखाउन र लिंक गर्न बनाइएको हो। त्यहाँ देखिन चाहनुहुन्छ भने Perplexity ले यसलाई robots.txt मा अनुमति दिन सिफारिस गर्छ, र यो AI फाउन्डेसन मोडेलका लागि सामग्री क्रल गर्न प्रयोग हुँदैन भन्छ।Perplexity-Userले प्रयोगकर्ताका कार्यलाई सघाउँछ। कसैले प्रश्न सोध्दा उत्तर दिन मद्दत गर्न यसले कुनै पेज खोल्न र त्यो पेज लिंक गर्न सक्छ। Perplexity भन्छ, यो वेब क्रलिङ वा ट्रेनिङ डेटा सङ्कलनका लागि प्रयोग हुँदैन।
व्यवहारमा, कसैले सोध्नुअघि नै Perplexity लाई तपाईंका पेजबारे थाहा छ कि छैन भन्ने PerplexityBot ले निर्धारण गर्छ, र प्रश्नलाई चाहिँदा पेज तुरुन्तै खोल्न सकिन्छ कि सकिँदैन भन्ने Perplexity-User ले। उद्धृत हुन चाहनुहुन्छ भने दुवैले ब्राउजरले पाउने उही पेज पाउनुपर्छ।
के तपाईंको robots.txt ले PerplexityBot लाई ब्लक गरिरहेको छ?
https://yourdomain.com/robots.txt खोल्नुहोस् र PerplexityBot नाम भएको समूह खोज्नुहोस्। त्यस्तो समूह छैन भने क्रलरले User-agent: * समूह पालना गर्छ। RFC 9309 अनुसार मिलान ठूला-साना अक्षरमा भर पर्दैन, र नाम तोकिएको समूहले * समूहमा थपिने होइन, त्यसलाई पूरै प्रतिस्थापन गर्छ।
यो ब्लक सामान्य छ। सबैभन्दा लोकप्रिय 1,000 डोमेनका robots.txt फाइलको हाम्रो अध्ययनमा, robots.txt दिने 518 साइटमध्ये 86 (16.6%) ले PerplexityBot का लागि गृहपृष्ठ निषेध गरेका थिए। हामीले परीक्षण गरेका AI सर्च क्रलरमध्ये यो सबैभन्दा ठूलो हिस्सा थियो; OAI-SearchBot 58 साइट (11.2%) मा ब्लक थियो। यीमध्ये केही साइटले AI ट्रेनिङ रोक्न खोजेका हुन सक्छन्, तर Perplexity भन्छ PerplexityBot ट्रेनिङ क्रलर होइन, त्यसैले यसलाई ब्लक गर्दा त्यो उद्देश्य पूरा हुँदैन, सर्चमा देखिने अवसर मात्र गुम्छ।
Perplexity लाई भित्र आउन दिने र निजी भाग बन्द राख्ने सेटअप यस्तो देखिन्छ:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml फाइलले आफैँ सही जवाफ दिन्छ कि दिँदैन पनि जाँच्नुहोस्। robots.txt ले सर्भर त्रुटि फर्काए, RFC 9309 अनुसार क्रलरले पूरै साइट निषेधित मान्नुपर्छ। स्थिति 200 सहित HTML पेज फर्काउने robots.txt ठेगानामा कुनै मान्य नियम हुँदैन। Perplexity भन्छ, परिवर्तन लागू हुन 24 घण्टासम्म लाग्न सक्छ।
के तपाईंको फायरवाल वा CDN ले Perplexity लाई ब्लक गरिरहेको छ?
robots.txt अनुरोध हो, पहुँच नियन्त्रण होइन। वास्तवमा के फिर्ता पठाइन्छ भन्ने तपाईंको फायरवाल, CDN वा बट सुरक्षाले निर्णय गर्छ, र तपाईंको आफ्नै ब्राउजरबाट हेर्दा सब सामान्य देखिए पनि यसले Perplexity लाई 403, 429 वा च्यालेन्ज पेज दिन सक्छ। Perplexity को कागजात भन्छ, वेब एप्लिकेसन फायरवालपछाडि रहेका साइटले यसका बटलाई स्पष्ट रूपमा अनुमति दिनुपर्ने हुन सक्छ।
एउटै URL ब्राउजर र प्रत्येक Perplexity एजेन्टका रूपमा माग्नुहोस्, त्यसपछि स्थिति र आकार तुलना गर्नुहोस्:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Perplexity एजेन्टलाई मात्र 403, 429 वा 503, Just a moment... शीर्षक भएको पेज, वा ब्राउजरको भन्दा धेरै सानो 200 प्रतिक्रिया, यी सबैले फायरवालतर्फ सङ्केत गर्छन्। यो परीक्षण Perplexity को होइन, तपाईंको IP ठेगानाबाट हुन्छ, त्यसैले यसले तपाईंका नियमले user agent लाई कसरी व्यवहार गर्छन् देखाउँछ; IP मा आधारित नियमले वास्तविक क्रलरलाई अझै फरक व्यवहार गर्न सक्छन्।
Cloudflare प्रयोग गर्नुहुन्छ भने दुई कुरा ध्यान दिनुहोस्। Perplexity को कागजातले Cloudflare कै भनाइ दोहोर्याउँछ कि Bot Fight Mode लाई WAF custom rules ले स्किप गर्न सकिँदैन, त्यसैले त्यो सुविधाले Perplexity लाई च्यालेन्ज गर्छ भने allow नियमले मद्दत गर्दैन। र अगस्ट 2025 मा Cloudflare ले आफूले अघोषित क्रलिङ देखेको भन्दै Perplexity लाई आफ्नो verified bots सूचीबाट हटाएको बतायो; Perplexity ले त्यो विवरणमा असहमति जनायो। त्यसैले verified bots लाई मात्र पास गर्ने नियमले Perplexity लाई नसमेट्न सक्छ। अनुमान नगर्नुहोस्, आफ्नो ड्यासबोर्डमा हालको स्थिति जाँच्नुहोस्।
Perplexity लाई यसका प्रकाशित IP दायराबाट कसरी अनुमति दिने?
जोसुकैले आफूलाई PerplexityBot भन्ने अनुरोध पठाउन सक्छ, त्यसैले user agent मात्र मिलाउने allow नियमले नक्कल गर्नेहरूलाई पनि भित्र पसाउँछ। Perplexity ले दुवै एजेन्टका ठेगाना दायरा प्रकाशित गर्छ र user agent र IP ठेगाना दुवै सँगै मिलाउन सिफारिस गर्छ:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perplexity भन्छ यी सूची नियमित रूपमा अद्यावधिक हुन्छन् र तपाईंका WAF नियमको अद्यावधिक स्वचालित गर्न सुझाव दिन्छ। allow नियमलाई अनुरोध ब्लक वा च्यालेन्ज गर्ने कुनै पनि नियमभन्दा माथि राख्नुहोस्: Cloudflare का custom rules मा पहिलो, वा AWS WAF मा कम priority नम्बरसहित। त्यसपछि आफ्ना लग हेर्नुहोस्, किनभने फायरवालका परिवर्तन फैलिन समय लाग्न सक्छ।
के JavaScript रेन्डरिङले Perplexity लाई पेज पढ्नबाट रोक्न सक्छ?
सक्छ। Perplexity को क्रलर कागजातले यसका एजेन्टले JavaScript चलाउँछन् कि चलाउँदैनन् भन्दैन, त्यसैले सुरक्षित अनुमान यही हो कि क्रलरलाई चाहिने पाठ सर्भरले पठाउने HTML मै हुनुपर्छ। सर्भर रेन्डरिङ नभएका single-page app जस्ता पूरै ब्राउजरमा बनाइने पेज लोडिङ स्पिनर भएको खाली खोलका रूपमा आइपुग्न सक्छन्।
छिटो जाँच्ने तरिका: curl ले पेज ल्याउनुहोस् र आउटपुटमा आफ्नो मुख्य सामग्रीको एउटा वाक्य खोज्नुहोस्। त्यो छैन भने पाठ स्क्रिप्टले थप्छन्। सर्भर-साइड रेन्डरिङ, स्ट्याटिक जेनेरेसन वा क्रलरका लागि प्रिरेन्डरिङले Perplexity मात्र होइन, सबै AI क्रलरका लागि यो एकैपटक समाधान गर्छ।
सबै खुला छ तर पनि मेरो साइट देखिँदैन भने?
पढ्न सकिनु पूर्वशर्त हो, ग्यारेन्टी होइन। Perplexity ले कुन स्रोत उद्धृत गर्ने भनेर कसरी छान्छ प्रकाशित गर्दैन, त्यसैले हरेक एजेन्टले पढ्न सक्ने पेज पनि प्रश्नको उत्तर अझ सिधा दिने पेजसँग हार्न सक्छ। तपाईंको नियन्त्रणमा यति छ कि कुनै प्राविधिक अवरोध नहोस्: स्पष्ट पेज शीर्षक, पाठको सुरुमै भनिएको उत्तर, र तपाईंले अन्यत्र भनेसँग मिल्ने सही तथ्य।
robots.txt ले के समेट्दैन भन्ने पनि सम्झनुहोस्। Perplexity भन्छ Perplexity-User ले सामान्यतया robots.txt बेवास्ता गर्छ, किनभने त्यो ल्याउने अनुरोध प्रयोगकर्ताले गरेको हुन्छ। त्यसैले Perplexity-User का लागि बनाइएको नियम लाइभ भ्रमण रोक्ने भरपर्दो उपाय होइन, र यसलाई अनुमति दिने robots.txt यो तपाईंको फायरवाल पार गर्छ भन्ने प्रमाण होइन।
AISeeWhy ले तपाईंको पेज ब्राउजरसँगै PerplexityBot, Perplexity-User र अन्य 12 क्रलरका रूपमा माग्छ, प्रत्येकका लागि तपाईंका robots.txt नियम लागू गर्छ, च्यालेन्ज पेज चिन्छ र JavaScript बिना कति पाठ आइपुग्छ देखाउँछ, ताकि शृङ्खलाको कुन कडी असफल छ तपाईं देख्न सक्नुहोस्।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
स्रोतहरू
- Perplexity: Perplexity क्रलरहरू
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: वेबसाइटका no-crawl निर्देशन छल्न Perplexity ले लुकेका, अघोषित क्रलर प्रयोग गरिरहेको छ
- Perplexity: एजेन्ट कि बट? खुला वेबमा AI लाई बुझ्दै
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11