AISeeWhy
HI
मुफ़्त ट्रायल शुरू करें

मेरी साइट Perplexity में क्यों नहीं दिखती?

प्रकाशित

संक्षिप्त उत्तर

Perplexity सिर्फ़ वही पेज दिखा और लिंक कर सकता है जिन्हें PerplexityBot क्रॉल कर सकता है और जो उसे असल में मिलते हैं। आम कारण तीन हैं: robots.txt का ऐसा नियम जो PerplexityBot को disallow करता है, ऐसा फ़ायरवॉल या CDN जो उसे 403 या चैलेंज पेज लौटाता है, और ऐसा टेक्स्ट जो JavaScript चलने के बाद ही दिखता है। तीनों जांचें, फिर Perplexity की प्रकाशित IP रेंज को अनुमति दें।

आप Perplexity से अपने प्रोडक्ट के बारे में पूछते हैं, और वह किसी प्रतिस्पर्धी, रिव्यू साइट या फ़ोरम थ्रेड का हवाला देता है, लेकिन आपके अपने पेज का कभी नहीं। कभी यह प्रासंगिकता का सवाल होता है। अक्सर यह एक तकनीकी रुकावट होती है जो कुछ मिनटों में मिल सकती है। Perplexity बताता है कि वह किन एजेंटों का इस्तेमाल करता है, हर एक का काम क्या है और उसका ट्रैफ़िक कहां से आता है, इसलिए श्रृंखला की हर कड़ी जांची जा सकती है: robots.txt, आपके सर्वर का जवाब, और उस जवाब में मौजूद कंटेंट।

इस पेज पर
  1. Perplexity पेज कैसे ढूंढता और पढ़ता है?
  2. क्या आपका robots.txt PerplexityBot को ब्लॉक कर रहा है?
  3. क्या आपका फ़ायरवॉल या CDN Perplexity को ब्लॉक कर रहा है?
  4. मैं Perplexity को उसकी प्रकाशित IP रेंज से कैसे अनुमति दूं?
  5. क्या JavaScript रेंडरिंग Perplexity को पेज पढ़ने से रोक सकती है?
  6. अगर सब कुछ खुला है और फिर भी मेरी साइट नहीं दिखती तो?

Perplexity पेज कैसे ढूंढता और पढ़ता है?

Perplexity दो एजेंट दस्तावेज़ित करता है। दोनों का काम अलग है, और किसी एक में समस्या आपके पेज को उत्तर से बाहर रख सकती है।

व्यवहार में, PerplexityBot तय करता है कि किसी के पूछने से पहले ही Perplexity आपके पेज जानता है या नहीं, और Perplexity-User तय करता है कि किसी सवाल को ज़रूरत पड़ने पर वह पेज को लाइव खोल सकता है या नहीं। अगर आप हवाले में आना चाहते हैं, तो दोनों को वही पेज मिलना चाहिए जो ब्राउज़र को मिलता है।

क्या आपका robots.txt PerplexityBot को ब्लॉक कर रहा है?

https://yourdomain.com/robots.txt खोलें और ऐसा ग्रुप देखें जिसमें PerplexityBot का नाम हो। अगर कोई नहीं है, तो क्रॉलर User-agent: * वाले ग्रुप का पालन करता है। RFC 9309 के अनुसार मिलान में अक्षरों का केस मायने नहीं रखता, और नाम वाला ग्रुप * ग्रुप में जुड़ने के बजाय उसे पूरी तरह बदल देता है।

यह ब्लॉक आम है। 1,000 सबसे लोकप्रिय डोमेन के robots.txt पर हमारे अध्ययन में, robots.txt देने वाली 518 साइटों में से 86 (16.6%) ने PerplexityBot के लिए होम पेज को disallow किया। हमारे परखे गए सभी AI सर्च क्रॉलरों में यह सबसे ऊंचा अनुपात था; OAI-SearchBot 58 साइटों (11.2%) पर ब्लॉक था। इनमें से कुछ साइटों का इरादा AI ट्रेनिंग रोकना रहा हो सकता है, लेकिन Perplexity कहता है कि PerplexityBot ट्रेनिंग क्रॉलर नहीं है, इसलिए इसे ब्लॉक करने से सर्च में दिखना घटता है और वह लक्ष्य पूरा नहीं होता।

Perplexity को आने देने और निजी हिस्से को बंद रखने वाला सेटअप ऐसा दिखता है:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

यह भी जांचें कि फ़ाइल खुद सही जवाब देती है। अगर robots.txt सर्वर एरर लौटाए, तो RFC 9309 के अनुसार क्रॉलर को मान लेना चाहिए कि पूरी साइट disallow है। जिस robots.txt पते पर status 200 के साथ HTML पेज लौटता है, उसमें कोई मान्य नियम नहीं होता। Perplexity कहता है कि बदलाव दिखने में 24 घंटे तक लग सकते हैं।

क्या आपका फ़ायरवॉल या CDN Perplexity को ब्लॉक कर रहा है?

robots.txt एक अनुरोध है, एक्सेस कंट्रोल नहीं। असल में क्या वापस भेजा जाए, यह आपका फ़ायरवॉल, CDN या बॉट सुरक्षा तय करती है, और वह Perplexity को 403, 429 या चैलेंज पेज लौटा सकती है जबकि ब्राउज़र से आपके अपने विज़िट सामान्य दिखते हैं। Perplexity के दस्तावेज़ों के अनुसार, वेब ऐप्लिकेशन फ़ायरवॉल (WAF) के पीछे की साइटों को उसके बॉट को साफ़ तौर पर अनुमति देनी पड़ सकती है।

इसे जांचने के लिए वही URL ब्राउज़र के रूप में और Perplexity के हर एजेंट के रूप में मांगें, फिर status और साइज़ की तुलना करें:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

सिर्फ़ Perplexity एजेंटों को 403, 429 या 503 मिलना, Just a moment... शीर्षक वाला पेज, या ब्राउज़र के जवाब से काफ़ी छोटा 200 जवाब, ये सब फ़ायरवॉल की ओर इशारा करते हैं। यह टेस्ट आपके IP पते से जाता है, Perplexity के नहीं, इसलिए यह दिखाता है कि आपके नियम user agent के साथ कैसा बर्ताव करते हैं; असली क्रॉलर के लिए IP-आधारित नियम अब भी अलग नतीजा दे सकते हैं।

अगर आप Cloudflare इस्तेमाल करते हैं, तो दो बातें ध्यान रखें। Perplexity के दस्तावेज़ Cloudflare का अपना यह बयान दोहराते हैं कि Bot Fight Mode को WAF कस्टम नियमों से छोड़ा नहीं जा सकता, इसलिए अगर यह सुविधा Perplexity को चैलेंज करती है तो allow नियम काम नहीं आएगा। और अगस्त 2025 में Cloudflare ने कहा कि उसने Perplexity को अपनी सत्यापित बॉट सूची से हटा दिया, क्योंकि उसने उस चीज़ को देखा जिसे उसने अघोषित क्रॉलिंग बताया; Perplexity ने इस विवरण से असहमति जताई। इसलिए जो नियम सिर्फ़ सत्यापित बॉट को आने देते हैं, वे Perplexity को शायद न समेटें। मान लेने के बजाय अपने डैशबोर्ड में मौजूदा स्थिति जांचें।

मैं Perplexity को उसकी प्रकाशित IP रेंज से कैसे अनुमति दूं?

कोई भी ऐसा अनुरोध भेज सकता है जो खुद को PerplexityBot बताए, इसलिए सिर्फ़ user agent से मिलान करने वाला allow नियम नक़लचियों को भी अंदर आने देता है। Perplexity दोनों एजेंटों की पता-रेंज प्रकाशित करता है और user agent तथा IP पते को साथ मिलाने की सलाह देता है:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity कहता है कि ये सूचियां नियमित रूप से अपडेट होती हैं, और सुझाव देता है कि आप अपने WAF नियमों का अपडेट स्वचालित करें। allow नियम को हर उस नियम के ऊपर रखें जो अनुरोधों को ब्लॉक या चैलेंज करता है: Cloudflare के कस्टम नियमों में सबसे पहले, या AWS WAF में कम प्राथमिकता संख्या के साथ। फिर अपने लॉग देखते रहें, क्योंकि फ़ायरवॉल के बदलाव फैलने में समय ले सकते हैं।

क्या JavaScript रेंडरिंग Perplexity को पेज पढ़ने से रोक सकती है?

हां, रोक सकती है। Perplexity के क्रॉलर दस्तावेज़ यह नहीं बताते कि उसके एजेंट JavaScript चलाते हैं या नहीं, इसलिए सुरक्षित मान्यता यह है कि क्रॉलर को जो टेक्स्ट चाहिए, वह सर्वर के भेजे HTML में होना चाहिए। जो पेज पूरी तरह ब्राउज़र में बनते हैं, जैसे सर्वर रेंडरिंग के बिना सिंगल-पेज ऐप, वे लोडिंग स्पिनर वाले खाली खोल की तरह पहुंच सकते हैं।

एक तेज़ जांच यह है कि पेज को curl से लाएं और आउटपुट में अपने मुख्य कंटेंट का कोई वाक्य खोजें। अगर वह नहीं मिलता, तो टेक्स्ट स्क्रिप्ट से जोड़ा जा रहा है। सर्वर-साइड रेंडरिंग, स्टैटिक जनरेशन या क्रॉलरों के लिए प्रीरेंडरिंग इसे सिर्फ़ Perplexity के लिए नहीं, सभी AI क्रॉलरों के लिए एक साथ ठीक कर देती है।

अगर सब कुछ खुला है और फिर भी मेरी साइट नहीं दिखती तो?

पढ़े जा सकना एक पूर्व शर्त है, गारंटी नहीं। Perplexity यह प्रकाशित नहीं करता कि वह हवाले के लिए स्रोत कैसे चुनता है, इसलिए जिस पेज को हर एजेंट पढ़ सकता है, वह भी उन पेजों से पीछे रह सकता है जो सवाल का सीधा जवाब देते हैं। आपके नियंत्रण में यह है कि तकनीकी तौर पर कोई रुकावट न रहे: साफ़ पेज शीर्षक, टेक्स्ट में शुरू में ही दिया गया उत्तर, और ऐसे सटीक तथ्य जो आपके बाकी जगह लिखे से मेल खाते हों।

यह भी याद रखें कि robots.txt क्या नहीं संभालता। Perplexity कहता है कि Perplexity-User आम तौर पर robots.txt को अनदेखा करता है क्योंकि फ़ेच किसी उपयोगकर्ता ने मांगा होता है। इसलिए Perplexity-User के लिए नियम लाइव विज़िट रोकने का भरोसेमंद तरीका नहीं है, और उसे अनुमति देने वाला robots.txt इस बात का सबूत नहीं कि वह आपके फ़ायरवॉल से गुज़र जाता है।

AISeeWhy आपका पेज ब्राउज़र के साथ-साथ PerplexityBot, Perplexity-User और 12 अन्य क्रॉलरों के रूप में मांगता है, हर एक के लिए आपके robots.txt नियम लागू करता है, चैलेंज पेज पहचानता है और दिखाता है कि JavaScript के बिना कितना टेक्स्ट पहुंचता है, ताकि आप देख सकें कि श्रृंखला की कौन-सी कड़ी टूट रही है।

अक्सर पूछे जाने वाले प्रश्न

क्या Perplexity मेरे कंटेंट पर अपने मॉडल ट्रेन करता है?

Perplexity कहता है कि PerplexityBot का इस्तेमाल AI फ़ाउंडेशन मॉडल के लिए कंटेंट क्रॉल करने में नहीं होता और Perplexity-User ट्रेनिंग के लिए कंटेंट इकट्ठा नहीं करता। इसलिए PerplexityBot को disallow करना ट्रेनिंग से बाहर रहने का तरीका नहीं है; इससे सिर्फ़ Perplexity के सर्च नतीजों में आपका दिखना घटता है।

robots.txt ठीक करने के कितनी देर बाद Perplexity को पता चलेगा?

Perplexity कहता है कि उसके सिस्टम में robots.txt के बदलाव दिखने में 24 घंटे तक लग सकते हैं। फ़ायरवॉल के बदलाव तब असर करते हैं जब आपका प्रदाता उन्हें लागू करे, लेकिन नतीजा परखने से पहले क्रॉलर को लौटने का समय दें।

क्या मैं robots.txt से Perplexity-User को ब्लॉक कर सकता हूं?

भरोसेमंद ढंग से नहीं। Perplexity कहता है कि यह फ़ेचर आम तौर पर robots.txt को अनदेखा करता है क्योंकि फ़ेच किसी उपयोगकर्ता ने मांगा होता है। अगर इसे रोकना ज़रूरी है, तो उसकी प्रकाशित IP रेंज से मिलाया गया फ़ायरवॉल नियम भरोसेमंद नियंत्रण है।

क्या Perplexity का ट्रैफ़िक पहचानने के लिए user agent की जांच काफ़ी है?

नहीं। user agent की नक़ल करना आसान है। स्रोत IP की तुलना उन रेंज से करें जो Perplexity perplexitybot.json और perplexity-user.json में प्रकाशित करता है, और फ़ायरवॉल नियमों में user agent तथा IP दोनों का मिलान करें।

स्रोत

और लेख