माझी साइट Perplexity मध्ये का दिसत नाही?
सुमारे 30 सेकंदांत शोधा की PerplexityBot तुमच्या पेजपर्यंत पोहोचू शकतो का, आणि कोणता ब्लॉक (robots.txt, फायरवॉल किंवा JavaScript) तुम्हाला त्याच्या उत्तरांबाहेर ठेवतो.
मोफत · साइन-अप नाही · 30 सेकंदांत निकाल
PerplexityBot साठी robots.txt
PerplexityBot ला लागू होणारा गट RFC 9309 च्या नियमांनुसार वाचला जातो आणि निर्णय ठरवणारी ओळ दाखवली जाते.
फायरवॉल आणि CDN ब्लॉक
फक्त क्रॉलरना मिळणारा 403, 429 किंवा चॅलेंज पेज चिन्हांकित केला जातो आणि उत्तर देणाऱ्या फायरवॉलचे नाव दिले जाते.
पेज काय परत देते
क्रॉलरसाठी स्टेटस, आकार आणि रिडायरेक्ट यांची सामान्य ब्राउझरशी तुलना केली जाते, त्यामुळे क्रॉलरना मिळणारे कमी उत्तर ठळकपणे दिसते.
प्रत्येक निष्कर्षासाठी उपाय
प्रत्येक निष्कर्षासोबत करायचा बदल दिला जातो. मोफत तपासणीत तुमचा स्कोअर आणि पहिला निष्कर्ष दिसतो; पूर्ण अहवाल $29 आहे, एकदाच.
Perplexity फक्त तीच पेजेस दाखवू आणि लिंक करू शकते जी PerplexityBot ला क्रॉल करण्याची परवानगी आहे आणि जी त्याला प्रत्यक्ष मिळतात. नेहमीची कारणे: PerplexityBot ला नाकारणारा robots.txt नियम, त्याला 403 किंवा चॅलेंज पेज देणारा फायरवॉल किंवा CDN, आणि JavaScript चालल्यानंतरच दिसणारा मजकूर. तिन्ही तपासा, मग Perplexity च्या प्रकाशित IP रेंजना परवानगी द्या. Perplexity तुमच्याऐवजी स्पर्धकाचा संदर्भ देत असेल तर आधी हे ब्लॉक वगळा, मग त्याच प्रश्नासाठी ते उद्धृत करते त्या पेजशी तुमच्या पेजची तुलना करा.
ब्लॉक शोधा, 3 पायऱ्यांत
- robots.txt तपासा
PerplexityBotचे नाव असलेला गट शोधा. तो नसेल तरUser-agent: *गट लागू होतो, आणि नाव असलेला गट*ची जागा पूर्णपणे घेतो. - ब्राउझर आणि क्रॉलरची तुलना करा
पेज ब्राउझर म्हणून आणि Perplexity च्या प्रत्येक एजंट म्हणून मागवा. फक्त एजंटना मिळणारा 403, 429 किंवा 503,
Just a moment...पेज किंवा खूपच लहान 200 फायरवॉलकडे निर्देश करतो. - पेज सोर्स पाहा
curlने पेज मिळवा आणि तुमच्या मुख्य मजकुरातील एक वाक्य शोधा. ते नसेल तर स्क्रिप्ट मजकूर जोडतात: ते सर्व्हरवर रेंडर करा.
वारंवार विचारले जाणारे प्रश्न
Perplexity माझ्याऐवजी माझ्या स्पर्धकाची शिफारस का करते?
Perplexity स्रोत कसे निवडते हे प्रकाशित करत नाही, पण त्याचे एजंट वाचू शकतात तीच पेजेस ते उद्धृत करू शकते. आधी खात्री करा की PerplexityBot आणि Perplexity-User ला तुमचे पेज मिळते. मिळत असेल तर त्याच प्रश्नासाठी Perplexity उद्धृत करते ते पेज उघडा आणि तुलना करा: तुमचे पेज नेमक्या त्या प्रश्नाचे उत्तर सुरुवातीजवळच, तथ्ये मजकुरात देऊन, देते का? AISeeWhy ची AI मधील दृश्यमानता तपासणी तुमच्या खरेदीदारांचे प्रश्न Perplexity आणि इतर तीन असिस्टंटना विचारते आणि तुमच्या बाजूला कोणत्या स्पर्धकांची नावे येतात ते दाखवते.
Perplexity माझ्या मजकुरावर त्याचे मॉडेल ट्रेन करते का?
Perplexity सांगते की PerplexityBot AI फाउंडेशन मॉडेलसाठी मजकूर क्रॉल करण्यासाठी वापरला जात नाही आणि Perplexity-User ट्रेनिंगसाठी मजकूर गोळा करत नाही. त्यामुळे PerplexityBot ला नाकारणे ट्रेनिंगमधून बाहेर पडण्याचा मार्ग ठरत नाही; त्याने फक्त Perplexity च्या सर्च निकालांमधील तुमची दृश्यमानता कमी होते.
robots.txt दुरुस्त केल्यानंतर Perplexity ला ते किती वेळात कळते?
Perplexity सांगते की robots.txt मधील बदल त्याच्या सिस्टममध्ये दिसण्यास 24 तासांपर्यंत लागू शकतात. फायरवॉलमधील बदल तुमचा प्रोव्हायडर लागू करतो तेव्हा प्रभावी होतात, पण निकाल ठरवण्याआधी क्रॉलरला परत येण्यासाठी वेळ द्या.
robots.txt ने Perplexity-User ला ब्लॉक करता येते का?
विश्वासार्हपणे नाही. Perplexity सांगते की हा फेचर साधारणपणे robots.txt कडे दुर्लक्ष करतो, कारण विनंती युजरने केलेली असते. त्याला थांबवायचे असल्यास, त्याच्या प्रकाशित IP रेंजशी जुळणारा फायरवॉल नियम हे भरवशाचे नियंत्रण आहे.
Perplexity चा ट्रॅफिक ओळखण्यासाठी युजर एजंट तपासणे पुरेसे आहे का?
नाही. युजर एजंटची नक्कल करणे सोपे आहे. स्रोत IP ची तुलना Perplexity ने perplexitybot.json आणि perplexity-user.json मध्ये प्रकाशित केलेल्या रेंजशी करा, आणि फायरवॉल नियमांमध्ये युजर एजंट व IP दोन्ही जुळवा.
संपूर्ण मार्गदर्शक वाचा
तुम्ही Perplexity ला तुमच्या उत्पादनाबद्दल विचारता, आणि ते एखाद्या स्पर्धकाचा, रिव्ह्यू साइटचा किंवा फोरम थ्रेडचा संदर्भ देते, पण तुमच्या स्वतःच्या पेजचा कधीच नाही. कधी हा प्रासंगिकतेचा प्रश्न असतो. बहुतेक वेळा तो तांत्रिक ब्लॉक असतो, जो काही मिनिटांत सापडतो. Perplexity कोणते एजंट वापरते, प्रत्येक काय करतो आणि त्याचा ट्रॅफिक कुठून येतो हे दस्तऐवजात सांगते, त्यामुळे साखळीतील प्रत्येक दुवा तपासता येतो: robots.txt, तुमचा सर्व्हर पाठवत असलेला प्रतिसाद, आणि त्या प्रतिसादात काय आहे.
Perplexity पेजेस कशी शोधते आणि वाचते?
Perplexity दोन एजंटचे दस्तऐवज देते. त्यांची कामे वेगळी आहेत, आणि दोघांपैकी कोणत्याही एकाची अडचण तुमचे पेज उत्तराबाहेर ठेवू शकते.
PerplexityBotहा Perplexity च्या सर्च निकालांमध्ये वेबसाइट दाखवण्यासाठी आणि लिंक करण्यासाठी बनवला आहे. तिथे दिसायचे असल्यास robots.txt मध्ये त्याला परवानगी द्यावी अशी Perplexity ची शिफारस आहे, आणि ते सांगते की AI फाउंडेशन मॉडेलसाठी मजकूर क्रॉल करण्यासाठी तो वापरला जात नाही.Perplexity-Userयुजरच्या कृतींना मदत करतो. कोणी प्रश्न विचारल्यावर, उत्तर देण्यासाठी तो एखादे पेज उघडू शकतो आणि त्या पेजची लिंक देऊ शकतो. Perplexity सांगते की तो वेब क्रॉलिंगसाठी किंवा ट्रेनिंग डेटा गोळा करण्यासाठी वापरला जात नाही.
व्यवहारात, कोणी विचारण्याआधी Perplexity ला तुमच्या पेजेसची माहिती आहे का हे PerplexityBot ठरवतो, आणि प्रश्नासाठी गरज पडल्यावर पेज लाइव्ह उघडता येते का हे Perplexity-User ठरवतो. तुमचा संदर्भ दिला जावा असे वाटत असल्यास, दोघांनाही ब्राउझरला मिळणारेच पेज मिळायला हवे.
तुमची robots.txt PerplexityBot ला ब्लॉक करते का?
https://yourdomain.com/robots.txt उघडा आणि PerplexityBot चे नाव असलेला गट शोधा. तसा गट नसल्यास क्रॉलर User-agent: * गटाचे पालन करतो. RFC 9309 नुसार नावांची जुळणी केस-इन्सेन्सिटिव्ह असते, आणि नाव असलेला गट * गटात भर घालत नाही, तर तो पूर्णपणे बदलतो.
हा ब्लॉक सामान्य आहे. सर्वात लोकप्रिय 1,000 डोमेनच्या robots.txt फायलींच्या आमच्या अभ्यासात, robots.txt देणाऱ्या 518 साइटपैकी 86 (16.6%) साइटनी PerplexityBot साठी होम पेज नाकारले होते. आम्ही तपासलेल्या AI सर्च क्रॉलरपैकी हा सर्वात मोठा वाटा होता; OAI-SearchBot 58 साइटवर (11.2%) ब्लॉक होता. यांपैकी काही साइटना AI ट्रेनिंग थांबवायचे असेल, पण Perplexity सांगते की PerplexityBot ट्रेनिंग क्रॉलर नाही, त्यामुळे त्याला ब्लॉक केल्याने ते उद्दिष्ट साध्य न होता सर्चमधील दृश्यमानता गमावली जाते.
Perplexity ला आत येऊ देणारी आणि खाजगी भाग बंद ठेवणारी रचना अशी दिसते:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml फाइल स्वतः योग्य प्रतिसाद देते का हेही तपासा. robots.txt सर्व्हर एरर देत असल्यास, RFC 9309 नुसार क्रॉलरने संपूर्ण साइट नाकारलेली मानली पाहिजे. स्टेटस 200 सह HTML पेज देणाऱ्या robots.txt पत्त्यात कोणतेही वैध नियम नसतात. Perplexity सांगते की बदल लागू होण्यास 24 तासांपर्यंत लागू शकतात.
तुमचा फायरवॉल किंवा CDN Perplexity ला ब्लॉक करतो का?
robots.txt ही विनंती आहे, ॲक्सेस नियंत्रण नाही. प्रत्यक्षात काय परत पाठवले जाते ते तुमचा फायरवॉल, CDN किंवा बॉट संरक्षण ठरवते, आणि तुमच्या स्वतःच्या ब्राउझर भेटी सामान्य दिसत असतानाही ते Perplexity ला 403, 429 किंवा चॅलेंज पेज देऊ शकते. Perplexity चे दस्तऐवज सांगतात की वेब ॲप्लिकेशन फायरवॉलमागील साइटना त्याच्या बॉटना स्पष्टपणे परवानगी द्यावी लागू शकते.
एकच URL ब्राउझर म्हणून आणि प्रत्येक Perplexity एजंट म्हणून मागवून तपासा, मग स्टेटस आणि आकाराची तुलना करा:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done फक्त Perplexity एजंटसाठी 403, 429 किंवा 503, Just a moment... शीर्षक असलेले पेज, किंवा ब्राउझरपेक्षा खूप लहान 200 प्रतिसाद, या सगळ्यांचा अर्थ फायरवॉल असा होतो. ही चाचणी Perplexity च्या नव्हे तर तुमच्या IP पत्त्यावरून होते, त्यामुळे तुमचे नियम युजर एजंटशी कसे वागतात ते दिसते; IP-आधारित नियम खऱ्या क्रॉलरसाठी वेगळे वागू शकतात.
तुम्ही Cloudflare वापरत असल्यास दोन गोष्टी लक्षात ठेवा. Perplexity चे दस्तऐवज Cloudflare चेच विधान पुन्हा सांगतात की Bot Fight Mode WAF custom rules ने वगळता येत नाही, त्यामुळे हे फीचर Perplexity ला चॅलेंज देत असल्यास allow नियमाचा उपयोग होणार नाही. तसेच ऑगस्ट 2025 मध्ये Cloudflare ने सांगितले की त्याने अघोषित क्रॉलिंग आढळल्याचे सांगून Perplexity ला verified bots यादीतून काढले; Perplexity ने हे वर्णन नाकारले. त्यामुळे फक्त verified bots ना आत येऊ देणारे नियम Perplexity ला लागू होणार नाहीत. गृहीत धरण्याऐवजी तुमच्या डॅशबोर्डमध्ये सध्याची स्थिती तपासा.
Perplexity ला त्याच्या प्रकाशित IP रेंजनुसार परवानगी कशी द्यावी?
कोणीही स्वतःला PerplexityBot म्हणवणारी विनंती पाठवू शकतो, त्यामुळे फक्त युजर एजंटशी जुळणारा allow नियम तोतयांनाही आत येऊ देतो. Perplexity दोन्ही एजंटच्या पत्त्यांच्या रेंज प्रकाशित करते आणि युजर एजंट व IP पत्ता दोन्ही एकत्र जुळवण्याची शिफारस करते:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perplexity सांगते की या याद्या नियमितपणे अपडेट होतात आणि तुमच्या WAF नियमांचे अपडेट स्वयंचलित करण्याचा सल्ला देते. allow नियम विनंत्या ब्लॉक करणाऱ्या किंवा चॅलेंज देणाऱ्या कोणत्याही नियमाच्या वर ठेवा: Cloudflare च्या custom rules मध्ये पहिला, किंवा AWS WAF मध्ये कमी priority क्रमांकासह. मग तुमचे लॉग पाहत राहा, कारण फायरवॉलमधील बदल पसरण्यास वेळ लागू शकतो.
JavaScript रेंडरिंगमुळे Perplexity ला पेज वाचता येत नाही का?
होय, असे होऊ शकते. Perplexity चे क्रॉलर दस्तऐवज त्याचे एजंट JavaScript चालवतात की नाही हे सांगत नाहीत, त्यामुळे सुरक्षित गृहीतक हे की क्रॉलरला लागणारा मजकूर सर्व्हर पाठवत असलेल्या HTML मध्येच असावा. पूर्णपणे ब्राउझरमध्ये तयार होणारी पेजेस, उदाहरणार्थ सर्व्हर रेंडरिंगशिवायचे single-page ॲप, लोडिंग स्पिनरसह रिकाम्या साच्यासारखी पोहोचू शकतात.
झटपट तपासणी म्हणजे curl ने पेज मिळवणे आणि आउटपुटमध्ये तुमच्या मुख्य मजकुरातील एखादे वाक्य शोधणे. ते तिथे नसल्यास मजकूर स्क्रिप्टमधून जोडला जातो. सर्व्हर-साइड रेंडरिंग, स्टॅटिक जनरेशन किंवा क्रॉलरसाठी प्रीरेंडरिंग हे फक्त Perplexity साठीच नव्हे तर सर्व AI क्रॉलरसाठी एकाच वेळी दुरुस्त करते.
सगळे खुले असूनही माझी साइट दिसत नसेल तर?
वाचता येणे ही पूर्वअट आहे, हमी नाही. कोणत्या स्रोतांचा संदर्भ द्यायचा हे Perplexity कसे ठरवते ते प्रकाशित करत नाही, त्यामुळे प्रत्येक एजंटला वाचता येणारे पेजही प्रश्नाचे थेट उत्तर देणाऱ्या पेजेसपुढे मागे पडू शकते. तुमच्या हातात हे आहे की कोणताही तांत्रिक अडथळा मध्ये येऊ नये: स्पष्ट पेज शीर्षक, मजकुरात सुरुवातीलाच दिलेले उत्तर, आणि तुम्ही इतरत्र जे सांगता त्याच्याशी जुळणारी अचूक तथ्ये.
robots.txt काय कव्हर करत नाही हेही लक्षात ठेवा. Perplexity सांगते की Perplexity-User साधारणपणे robots.txt कडे दुर्लक्ष करतो, कारण पेज मिळवण्याची विनंती युजरने केलेली असते. त्यामुळे Perplexity-User साठीचा नियम लाइव्ह भेटी ब्लॉक करण्याचा विश्वासार्ह मार्ग नाही, आणि त्याला परवानगी देणारी robots.txt तो तुमच्या फायरवॉलमधून जातो याचा पुरावा नाही.
AISeeWhy तुमचे पेज PerplexityBot, Perplexity-User आणि इतर 12 क्रॉलर म्हणून ब्राउझरच्या बरोबरीने मागवते, प्रत्येकासाठी तुमचे robots.txt नियम लागू करते, चॅलेंज पेज ओळखते आणि JavaScript शिवाय किती मजकूर पोहोचतो ते दाखवते, त्यामुळे साखळीतील कोणता दुवा अपयशी ठरतो ते तुम्हाला दिसते.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
स्रोत
- Perplexity: Perplexity क्रॉलर
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: वेबसाइटचे no-crawl निर्देश टाळण्यासाठी Perplexity छुपे, अघोषित क्रॉलर वापरत आहे
- Perplexity: एजंट की बॉट? खुल्या वेबवरील AI समजून घेणे
- AISeeWhy: AI क्रॉलर ॲक्सेस अहवाल, 2026-11