મારી સાઇટ Perplexityમાં કેમ દેખાતી નથી?
લગભગ 30 સેકન્ડમાં જાણો કે PerplexityBot તમારા પેજ સુધી પહોંચી શકે છે કે નહીં, અને કયો બ્લૉક (robots.txt, ફાયરવૉલ કે JavaScript) તમને તેના જવાબોમાંથી દૂર રાખે છે.
મફત · સાઇન-અપ નહીં · 30 સેકંડમાં પરિણામ
PerplexityBot માટે robots.txt
PerplexityBotને લાગુ પડતો ગ્રૂપ RFC 9309ના નિયમો મુજબ વાંચવામાં આવે છે, અને નિર્ણય કરતી લાઇન બતાવવામાં આવે છે.
ફાયરવૉલ અને CDN બ્લૉક
ફક્ત ક્રૉલરને મળતો 403, 429 કે ચેલેન્જ પેજ ચિહ્નિત થાય છે, અને જવાબ આપનાર ફાયરવૉલનું નામ બતાવવામાં આવે છે.
પેજ શું પાછું આપે છે
ક્રૉલર માટેનું સ્ટેટસ, સાઇઝ અને રીડાયરેક્ટ સામાન્ય બ્રાઉઝરના પરિણામ સાથે સરખાવવામાં આવે છે, તેથી ક્રૉલરને મળતો ઓછો જવાબ તરત દેખાઈ આવે છે.
દરેક તારણ માટે ઉકેલ
દરેક તારણ સાથે કરવાનો ફેરફાર આપવામાં આવે છે. મફત તપાસમાં તમારો સ્કોર અને પહેલું તારણ દેખાય છે; સંપૂર્ણ રિપોર્ટ $29 છે, એક જ વાર.
Perplexity ફક્ત એવાં પેજ બતાવી અને લિંક કરી શકે છે જેને ક્રૉલ કરવાની PerplexityBotને છૂટ હોય અને જે તેને ખરેખર મળે. સામાન્ય કારણો છે: robots.txtનો નિયમ જે PerplexityBotને મનાઈ કરે છે, ફાયરવૉલ કે CDN જે તેને 403 કે ચેલેન્જ પેજ આપે છે, અને એવું લખાણ જે ફક્ત JavaScript ચાલ્યા પછી દેખાય છે. ત્રણેય તપાસો, પછી Perplexityની પ્રકાશિત IP રેન્જને મંજૂરી આપો. જો Perplexity તમને નહીં પણ સ્પર્ધકને ટાંકે, તો પહેલાં આ બ્લૉક બાકાત કરો, પછી તમારા પેજને એ જ પ્રશ્ન માટે તે જે પેજ ટાંકે છે તેની સાથે સરખાવો.
3 પગલાંમાં બ્લૉક શોધો
- robots.txt તપાસો
PerplexityBotનું નામ આપતો ગ્રૂપ શોધો. ન હોય તોUser-agent: *ગ્રૂપ લાગુ પડે છે, અને નામવાળો ગ્રૂપ*ને સંપૂર્ણપણે બદલી નાખે છે. - બ્રાઉઝર અને ક્રૉલરને સરખાવો
પેજ બ્રાઉઝર તરીકે અને Perplexityના દરેક એજન્ટ તરીકે મંગાવો. ફક્ત એજન્ટને 403, 429 કે 503 મળે,
Just a moment...પેજ મળે, અથવા ઘણું નાનું 200 મળે, તો તે ફાયરવૉલ તરફ ઇશારો કરે છે. - પેજ સૉર્સ જુઓ
curlવડે પેજ મેળવો અને તમારા મુખ્ય લખાણનું એક વાક્ય શોધો. ન મળે તો સ્ક્રિપ્ટ લખાણ ઉમેરે છે: તેને સર્વર પર રેન્ડર કરો.
વારંવાર પૂછાતા પ્રશ્નો
Perplexity મારા બદલે મારા સ્પર્ધકની ભલામણ કેમ કરે છે?
Perplexity સ્રોતો કેવી રીતે પસંદ કરે છે તે પ્રકાશિત કરતું નથી, પણ તે ફક્ત એવાં પેજ ટાંકી શકે છે જે તેના agents વાંચી શકે. પહેલાં ખાતરી કરો કે PerplexityBot અને Perplexity-Userને તમારું પેજ મળે છે. જો મળતું હોય, તો એ જ પ્રશ્ન માટે Perplexity જે પેજ ટાંકે છે તે ખોલો અને સરખાવો: શું તમારું પેજ એ જ પ્રશ્નનો જવાબ શરૂઆતમાં, હકીકતો લખાણમાં જણાવીને આપે છે? AISeeWhyની AI માં દૃશ્યતા તપાસ તમારા ગ્રાહકોના પ્રશ્નો Perplexity અને બીજા ત્રણ આસિસ્ટન્ટમાં પૂછે છે અને બતાવે છે કે તમારી બાજુમાં કયા સ્પર્ધકોનાં નામ આવે છે.
શું Perplexity મારા કન્ટેન્ટ પર તેનાં મૉડલને ટ્રેનિંગ આપે છે?
Perplexity કહે છે કે PerplexityBotનો ઉપયોગ AI ફાઉન્ડેશન મૉડલ માટે કન્ટેન્ટ ક્રૉલ કરવામાં થતો નથી અને Perplexity-User ટ્રેનિંગ માટે કન્ટેન્ટ ભેગું કરતો નથી. તેથી PerplexityBotને મનાઈ કરવી એ ટ્રેનિંગમાંથી બહાર નીકળવાનો રસ્તો નથી; તે ફક્ત Perplexityનાં સર્ચ પરિણામોમાં તમારી દૃશ્યતા ઘટાડે છે.
robots.txt સુધાર્યા પછી Perplexityને ખબર પડતાં કેટલો સમય લાગે?
Perplexity કહે છે કે તેની સિસ્ટમમાં robots.txtના ફેરફારો દેખાવામાં 24 કલાક સુધી લાગી શકે છે. ફાયરવૉલના ફેરફારો તમારો પ્રોવાઇડર લાગુ કરે ત્યારે અમલમાં આવે છે, પણ પરિણામ નક્કી કરતાં પહેલાં ક્રૉલરને પાછો આવવાનો સમય આપો.
શું હું robots.txtથી Perplexity-Userને બ્લૉક કરી શકું?
ભરોસાપાત્ર રીતે નહીં. Perplexity કહે છે કે આ ફેચર સામાન્ય રીતે robots.txtને અવગણે છે, કારણ કે ફેચની વિનંતી યુઝરે કરી હતી. જો તેને રોકવો જરૂરી હોય, તો તેની પ્રકાશિત IP રેન્જ સાથે મેળ ખાતો ફાયરવૉલ નિયમ ભરોસાપાત્ર નિયંત્રણ છે.
શું Perplexityનો ટ્રાફિક ઓળખવા માટે યુઝર એજન્ટ તપાસવો પૂરતો છે?
ના. યુઝર એજન્ટની નકલ કરવી સહેલી છે. સ્રોત IPને Perplexity perplexitybot.json અને perplexity-user.jsonમાં પ્રકાશિત કરે છે તે રેન્જ સાથે સરખાવો, અને ફાયરવૉલ નિયમોમાં યુઝર એજન્ટ અને IP બંને સાથે મેળવો.
સંપૂર્ણ માર્ગદર્શિકા વાંચો
તમે Perplexityને તમારા પ્રોડક્ટ વિશે પૂછો છો, અને તે કોઈ સ્પર્ધક, રિવ્યૂ સાઇટ કે ફોરમ થ્રેડને ટાંકે છે, પણ તમારાં પોતાનાં પેજને ક્યારેય નહીં. ક્યારેક એ પ્રાસંગિકતાનો પ્રશ્ન હોય છે. ઘણી વાર એ ટેક્નિકલ બ્લૉક હોય છે જે તમે થોડી મિનિટોમાં શોધી શકો. Perplexity દસ્તાવેજમાં જણાવે છે કે તે કયા એજન્ટ વાપરે છે, દરેક શું કરે છે અને તેનો ટ્રાફિક ક્યાંથી આવે છે, તેથી સાંકળની દરેક કડી તપાસી શકાય છે: robots.txt, તમારું સર્વર જે જવાબ મોકલે છે, અને એ જવાબમાં શું છે.
Perplexity પેજ કેવી રીતે શોધે અને વાંચે છે?
Perplexity બે એજન્ટ દસ્તાવેજમાં જણાવે છે. બંનેનું કામ અલગ છે, અને કોઈ પણ એકમાં સમસ્યા તમારા પેજને જવાબમાંથી બહાર રાખી શકે છે.
PerplexityBotPerplexityનાં સર્ચ પરિણામોમાં વેબસાઇટ બતાવવા અને લિંક કરવા માટે બનાવાયો છે. Perplexity ભલામણ કરે છે કે ત્યાં દેખાવું હોય તો robots.txtમાં તેને મંજૂરી આપો, અને કહે છે કે તેનો ઉપયોગ AI ફાઉન્ડેશન મૉડલ માટે કન્ટેન્ટ ક્રૉલ કરવામાં થતો નથી.Perplexity-Userયુઝરની ક્રિયાઓમાં મદદ કરે છે. કોઈ પ્રશ્ન પૂછે ત્યારે તે જવાબ આપવામાં મદદ માટે પેજ ખોલી શકે છે અને એ પેજની લિંક આપી શકે છે. Perplexity કહે છે કે તેનો ઉપયોગ વેબ ક્રૉલિંગ કે ટ્રેનિંગ ડેટા ભેગો કરવા માટે થતો નથી.
વ્યવહારમાં, PerplexityBot નક્કી કરે છે કે કોઈ પૂછે તે પહેલાં Perplexity તમારાં પેજ જાણે છે કે નહીં, અને Perplexity-User નક્કી કરે છે કે કોઈ પ્રશ્નને જરૂર પડે ત્યારે તે પેજ લાઇવ ખોલી શકે છે કે નહીં. જો તમારે ટંકાવું હોય, તો બંનેને એ જ પેજ મળવું જોઈએ જે બ્રાઉઝરને મળે છે.
શું તમારી robots.txt PerplexityBotને બ્લૉક કરે છે?
https://yourdomain.com/robots.txt ખોલો અને PerplexityBotનું નામ ધરાવતું જૂથ શોધો. જો એવું જૂથ ન હોય, તો ક્રૉલર User-agent: * જૂથને અનુસરે છે. RFC 9309 મુજબ નામ મેળવવામાં કેપિટલ-સ્મૉલ અક્ષરનો ફરક પડતો નથી, અને નામવાળું જૂથ * જૂથમાં ઉમેરાતું નથી, પણ તેની જગ્યા પૂરેપૂરી લઈ લે છે.
આ બ્લૉક સામાન્ય છે. સૌથી લોકપ્રિય 1,000 ડોમેનની robots.txt ફાઇલોના અમારા અભ્યાસમાં, robots.txt આપતી 518 સાઇટમાંથી 86 (16.6%) સાઇટે PerplexityBot માટે હોમ પેજ મનાઈમાં રાખ્યું હતું. અમે ચકાસેલા કોઈ પણ AI સર્ચ ક્રૉલરમાં આ સૌથી વધુ હિસ્સો હતો; OAI-SearchBot 58 સાઇટ (11.2%) પર બ્લૉક હતો. આમાંની કેટલીક સાઇટનો હેતુ AI ટ્રેનિંગ રોકવાનો હોઈ શકે, પણ Perplexity કહે છે કે PerplexityBot ટ્રેનિંગ ક્રૉલર નથી, તેથી તેને બ્લૉક કરવાથી એ હેતુ પૂરો થયા વગર સર્ચમાં દેખાવાનું નુકસાન થાય છે.
Perplexityને આવવા દેતું અને ખાનગી વિભાગ બંધ રાખતું સેટઅપ આવું દેખાય છે:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ફાઇલ પોતે સાચો જવાબ આપે છે કે નહીં તે પણ તપાસો. જો robots.txt સર્વર એરર આપે, તો RFC 9309 મુજબ ક્રૉલરે માની લેવું પડે કે આખી સાઇટ મનાઈમાં છે. જે robots.txt સરનામું સ્ટેટસ 200 સાથે HTML પેજ આપે છે, તેમાં કોઈ માન્ય નિયમ હોતો નથી. Perplexity કહે છે કે ફેરફારો દેખાવામાં 24 કલાક સુધી લાગી શકે છે.
શું તમારું ફાયરવૉલ કે CDN Perplexityને બ્લૉક કરે છે?
robots.txt એક વિનંતી છે, ઍક્સેસ કંટ્રોલ નથી. ખરેખર શું પાછું મોકલાય છે તે તમારું ફાયરવૉલ, CDN કે બૉટ પ્રોટેક્શન નક્કી કરે છે, અને તે Perplexityને 403, 429 કે ચેલેન્જ પેજ આપી શકે છે જ્યારે તમારી પોતાની બ્રાઉઝર મુલાકાતો સામાન્ય લાગે. Perplexityના દસ્તાવેજ કહે છે કે વેબ ઍપ્લિકેશન ફાયરવૉલ પાછળની સાઇટને તેના બૉટને સ્પષ્ટ રીતે મંજૂરી આપવી પડી શકે છે.
એ જ URLને બ્રાઉઝર તરીકે અને દરેક Perplexity એજન્ટ તરીકે મંગાવીને ચકાસો, પછી સ્ટેટસ અને કદ સરખાવો:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done ફક્ત Perplexity એજન્ટ માટે 403, 429 કે 503, Just a moment... શીર્ષકવાળું પેજ, કે બ્રાઉઝર કરતાં ઘણો નાનો 200 જવાબ, આ બધું ફાયરવૉલ તરફ ઇશારો કરે છે. આ ટેસ્ટ Perplexityના નહીં પણ તમારા IP સરનામા પરથી ચાલે છે, તેથી તે બતાવે છે કે તમારા નિયમો યુઝર એજન્ટ સાથે કેવું વર્તન કરે છે; સાચા ક્રૉલર માટે IP આધારિત નિયમો હજી અલગ હોઈ શકે છે.
જો તમે Cloudflare વાપરતા હો, તો બે વાત ધ્યાનમાં રાખો. Perplexityના દસ્તાવેજ Cloudflareનું પોતાનું નિવેદન દોહરાવે છે કે Bot Fight Modeને WAF custom rulesથી બાયપાસ કરી શકાતું નથી, તેથી જો એ સુવિધા Perplexityને ચેલેન્જ આપે, તો allow નિયમ મદદ નહીં કરે. અને ઑગસ્ટ 2025માં Cloudflareએ કહ્યું કે તેણે જેને અઘોષિત ક્રૉલિંગ ગણાવ્યું તે જોયા પછી Perplexityને verified bots યાદીમાંથી દૂર કર્યું છે; Perplexityએ આ વર્ણન સાથે અસંમતિ દર્શાવી. તેથી ફક્ત verified bots ને પસાર થવા દેતા નિયમો કદાચ Perplexityને આવરી ન લે. ધારી લેવાને બદલે તમારા ડૅશબોર્ડમાં હાલની સ્થિતિ તપાસો.
Perplexityને તેની પ્રકાશિત IP રેન્જથી કેવી રીતે મંજૂરી આપવી?
કોઈ પણ વ્યક્તિ PerplexityBot હોવાનો દાવો કરતી વિનંતી મોકલી શકે છે, તેથી ફક્ત યુઝર એજન્ટ સાથે મેળ ખાતો allow નિયમ નકલખોરોને પણ અંદર આવવા દે છે. Perplexity બંને એજન્ટની સરનામા રેન્જ પ્રકાશિત કરે છે અને યુઝર એજન્ટ અને IP સરનામું બંને સાથે મેળવવાની ભલામણ કરે છે:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perplexity કહે છે કે આ યાદીઓ નિયમિત રીતે અપડેટ થાય છે અને તમારા WAF નિયમોનાં અપડેટ ઑટોમેટ કરવાનું સૂચન કરે છે. allow નિયમને વિનંતીઓ બ્લૉક કરતા કે ચેલેન્જ આપતા કોઈ પણ નિયમની ઉપર મૂકો: Cloudflareના custom rulesમાં પહેલો, અથવા AWS WAFમાં ઓછા priority નંબર સાથે. પછી તમારા લૉગ પર નજર રાખો, કારણ કે ફાયરવૉલના ફેરફારો ફેલાતાં સમય લાગી શકે છે.
શું JavaScript રેન્ડરિંગ Perplexityને પેજ વાંચતા રોકી શકે છે?
હા, રોકી શકે છે. Perplexityના ક્રૉલર દસ્તાવેજ જણાવતા નથી કે તેના એજન્ટ JavaScript ચલાવે છે કે નહીં, તેથી સલામત ધારણા એ છે કે ક્રૉલરને જોઈતું લખાણ સર્વર જે HTML મોકલે છે તેમાં જ હોવું જોઈએ. સંપૂર્ણપણે બ્રાઉઝરમાં બનતાં પેજ, જેમ કે સર્વર રેન્ડરિંગ વગરની single-page ઍપ, લોડિંગ સ્પિનર સાથેના ખાલી ખોખા તરીકે પહોંચી શકે છે.
ઝડપી તપાસ: પેજને curlથી મેળવો અને આઉટપુટમાં તમારા મુખ્ય કન્ટેન્ટનું એક વાક્ય શોધો. જો તે ન હોય, તો લખાણ સ્ક્રિપ્ટ ઉમેરે છે. સર્વર-સાઇડ રેન્ડરિંગ, સ્ટેટિક જનરેશન કે ક્રૉલર માટે પ્રીરેન્ડરિંગ આ સમસ્યા ફક્ત Perplexity માટે નહીં, બધા AI ક્રૉલર માટે એકસાથે ઉકેલે છે.
બધું ખુલ્લું હોય છતાં મારી સાઇટ ન દેખાય તો શું?
વંચાવું એ પૂર્વશરત છે, ગૅરંટી નથી. Perplexity પ્રકાશિત કરતું નથી કે તે કયા સ્રોત ટાંકવા તે કેવી રીતે પસંદ કરે છે, તેથી દરેક એજન્ટ વાંચી શકે એવું પેજ પણ પ્રશ્નનો વધુ સીધો જવાબ આપતાં પેજ સામે હારી શકે છે. તમારા હાથમાં એ છે કે કોઈ ટેક્નિકલ અડચણ ન રહે: સ્પષ્ટ પેજ શીર્ષક, લખાણની શરૂઆતમાં જ જવાબ, અને તમે બીજે જે કહો છો તેની સાથે મેળ ખાતી સાચી હકીકતો.
robots.txt શું આવરી લેતું નથી તે પણ યાદ રાખો. Perplexity કહે છે કે Perplexity-User સામાન્ય રીતે robots.txtને અવગણે છે, કારણ કે ફેચની વિનંતી યુઝરે કરી હતી. તેથી Perplexity-User માટેનો નિયમ લાઇવ મુલાકાતો રોકવાની ભરોસાપાત્ર રીત નથી, અને તેને મંજૂરી આપતી robots.txt એ સાબિતી નથી કે તે તમારા ફાયરવૉલમાંથી પસાર થાય છે.
AISeeWhy તમારું પેજ PerplexityBot, Perplexity-User અને બીજા 12 ક્રૉલર તરીકે બ્રાઉઝરની સાથે મંગાવે છે, દરેક માટે તમારા robots.txt નિયમો લાગુ કરે છે, ચેલેન્જ પેજ ઓળખે છે અને JavaScript વગર કેટલું લખાણ પહોંચે છે તે બતાવે છે, જેથી તમે જોઈ શકો કે સાંકળની કઈ કડી નિષ્ફળ જાય છે.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
સ્રોતો
- Perplexity: Perplexity ક્રૉલર
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: Perplexity વેબસાઇટના no-crawl નિર્દેશોથી બચવા છુપા, અઘોષિત ક્રૉલર વાપરે છે
- Perplexity: એજન્ટ કે બૉટ? ખુલ્લા વેબ પર AIને સમજવું
- AISeeWhy: AI ક્રૉલર ઍક્સેસ રિપોર્ટ, 2026-11