Perplexityના ક્રૉલર: PerplexityBot અને Perplexity-User
Perplexity તેનાં સર્ચ પરિણામોમાં વેબસાઇટ બતાવવા અને લિંક કરવા PerplexityBot, અને યુઝરના પ્રશ્નને જરૂર હોય ત્યારે પેજ ખોલવા Perplexity-User વાપરે છે. Perplexity કહે છે કે PerplexityBot robots.txtનું પાલન કરે છે અને ફાઉન્ડેશન મૉડલની ટ્રેનિંગ માટે વપરાતો નથી, જ્યારે Perplexity-User સામાન્ય રીતે robots.txtને અવગણે છે કારણ કે ફેચની વિનંતી યુઝરે કરી હતી. Perplexityનું સર્ચ તમારાં પેજ ન વાપરે તે માટે robots.txtમાં PerplexityBotને મનાઈ કરો; Perplexity-Userને રોકવા તેની પ્રકાશિત IP રેન્જ સાથે મેળ ખાતો ફાયરવૉલ નિયમ વાપરો.
Perplexity હવાલાની આસપાસ બનેલું છે: જવાબો સાથે તે જે પેજ પરથી લેવાયા છે તેની ક્રમાંકિત લિંક આવે છે. તેના ક્રૉલર દસ્તાવેજ ટૂંકા છે, અને સ્પષ્ટ જણાવે છે કે કયો એજન્ટ robots.txtનું પાલન કરે છે અને કયો નહીં. જો તમારે બેમાંથી કોઈને નિયંત્રિત કરવો હોય, તો કયું સાધન વાપરવું તે આ ફરક નક્કી કરે છે.
આ પેજ પર
PerplexityBot શું કરે છે?
PerplexityBot Perplexityનાં સર્ચ પરિણામોમાં વેબસાઇટ બતાવવા અને લિંક કરવા બનાવાયો છે. Perplexity કહે છે કે તે AI ફાઉન્ડેશન મૉડલ માટે કન્ટેન્ટ ક્રૉલ કરવા વપરાતો નથી. Perplexityનાં સર્ચ પરિણામોમાં દેખાવા, Perplexity robots.txtમાં PerplexityBotને મંજૂરી આપવાની ભલામણ કરે છે.
Perplexity આ યુઝર એજન્ટ દસ્તાવેજમાં જણાવે છે:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) વર્ઝન નંબર બદલાઈ શકે છે, તેથી ફાયરવૉલ નિયમો PerplexityBot ટોકન સાથે મેળ ખાવા જોઈએ. Perplexity IP રેન્જ perplexity.ai/perplexitybot.json પર પ્રકાશિત કરે છે.
Perplexity-User શું કરે છે?
Perplexity-User યુઝરની ક્રિયાઓમાં મદદ કરે છે. કોઈ Perplexityને પ્રશ્ન પૂછે ત્યારે તે સાચો જવાબ આપવામાં મદદ માટે વેબ પેજ ખોલી શકે છે અને એ પેજની લિંક સામેલ કરી શકે છે. Perplexity કહે છે કે તે વેબ ક્રૉલ કરવા કે ટ્રેનિંગ ડેટા ભેગો કરવા વપરાતો નથી.
તેનો દસ્તાવેજમાં જણાવેલો યુઝર એજન્ટ Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) છે, અને તેની IP રેન્જ perplexity.ai/perplexity-user.json પર પ્રકાશિત છે.
robots.txt શું નિયંત્રિત કરે છે, અને શું નહીં?
આ મુખ્ય મુદ્દો છે. Perplexity જણાવે છે કે ફેચની વિનંતી યુઝરે કરી હોવાથી Perplexity-User સામાન્ય રીતે robots.txtના નિયમોને અવગણે છે. PerplexityBot માટેનું robots.txt જૂથ સર્ચ માટેના ઇન્ડેક્સિંગને અસર કરે છે; તે યુઝર વતી થતા લાઇવ ફેચને ભરોસાપાત્ર રીતે રોકતું નથી.
- robots.txtમાં
PerplexityBotને મનાઈ કરો: તમારાં પેજ Perplexityના સર્ચ ઇન્ડેક્સ માટે ક્રૉલ થતાં નથી, તેથી તે બતાવાય અને લિંક થાય તેની શક્યતા ઘટે છે. - robots.txtમાં
Perplexity-Userને મનાઈ કરો: Perplexityના દસ્તાવેજ મુજબ ફેચર સામાન્ય રીતે આને અવગણે છે, તેથી તે ભરોસાપાત્ર નિયંત્રણ નથી. - ફાયરવૉલ પર
Perplexity-Userબ્લૉક કરો: ફેચ નિષ્ફળ જાય છે, અને તમારા પેજ વિશે પૂછનાર યુઝરને તેના વગરનો જવાબ મળે છે. - બંનેને મંજૂરી આપો: Perplexity તમારાં પેજ ઇન્ડેક્સ કરી શકે છે અને યુઝર પૂછે ત્યારે તેમને લાઇવ વાંચી શકે છે.
Perplexity કહે છે કે દરેક robots.txt સેટિંગ સ્વતંત્ર રીતે કામ કરે છે, અને ફેરફારો દેખાવામાં 24 કલાક સુધી લાગી શકે છે.
Perplexity ChatGPT અને Claudeથી કેવી રીતે અલગ છે?
ત્રણેય પ્રોવાઇડર સર્ચ ક્રૉલરને યુઝરે માંગેલા ફેચરથી અલગ રાખે છે. બે વિગતો Perplexityને જુદું પાડે છે. પહેલી, તે અલગ ટ્રેનિંગ ક્રૉલર ચલાવતું નથી: તે કહે છે કે PerplexityBot AI ફાઉન્ડેશન મૉડલ માટે કન્ટેન્ટ ક્રૉલ કરવા વપરાતો નથી, તેથી પસંદ કરવા જેવું કોઈ ટ્રેનિંગ ટોકન નથી. બીજી, તે સ્પષ્ટ કહે છે કે તેનો યુઝર ફેચર સામાન્ય રીતે robots.txtને અવગણે છે, જ્યારે OpenAI કહે છે કે ChatGPT-User પર robots.txt લાગુ ન પણ પડે અને Anthropic કહે છે કે Claude-User સહિત તેના બૉટ robots.txtનું પાલન કરે છે.
વ્યવહારમાં આનો અર્થ છે robots.txtમાં Perplexityના સર્ચ ક્રૉલર માટે એક નિર્ણય, અને જો તમારે ક્યારેય યુઝરે માંગેલા ફેચ રોકવા હોય તો ફાયરવૉલનો નિર્ણય.
Perplexity માટે મારે કઈ robots.txt વાપરવી?
જો તમારે ટંકાવું હોય, તો સર્ચ ક્રૉલરને સ્પષ્ટ રીતે મંજૂરી આપો. યાદ રાખો કે નામવાળું જૂથ *માંથી નિયમો વારસામાં લેતું નથી, તેથી ખાનગી પાથ ફરીથી લખો:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot ટ્રેનિંગ ક્રૉલર નથી, તેથી મૉડલ ટ્રેનિંગમાંથી બહાર નીકળવા તેને બ્લૉક કરવાથી એ હેતુ પૂરો થયા વગર સર્ચમાં દૃશ્યતા ગુમાવાશે.
જો તમે robots.txtમાં સાઇટમેપ જણાવો, તો Sitemap: લાઇનને કોઈ પણ જૂથની બહાર કે ફાઇલના અંતે રાખો; તે બધા ક્રૉલરને લાગુ પડે છે. એ પણ ખાતરી કરો કે સાઇટમેપ પોતે તમારા ફાયરવૉલથી બ્લૉક નથી, કારણ કે જે ક્રૉલર તેને મેળવી ન શકે તે નવાં કે બદલાયેલાં પેજ શોધવા તેનો ઉપયોગ કરી શકતો નથી.
ફાયરવૉલ Perplexityને બ્લૉક નથી કરતું તેની ખાતરી કેવી રીતે કરવી?
બૉટ પ્રોટેક્શન ઘણી વાર બ્રાઉઝર સિવાયની કોઈ પણ વિનંતીને શંકાસ્પદ ગણે છે. દરેક Perplexity યુઝર એજન્ટથી તમારું પેજ મંગાવો અને જવાબને બ્રાઉઝરની વિનંતી સાથે સરખાવો. જો ક્રૉલરને 403, 429 કે ચેલેન્જ પેજ મળે, તો ટોકન અને, આદર્શ રીતે, પ્રકાશિત IP રેન્જ સાથે મેળ ખાતો allow નિયમ ઉમેરો, જેથી ફક્ત Perplexityનો સાચો ટ્રાફિક પસાર થાય. Cloudflareમાં AI Crawl Control દરેક AI ક્રૉલર માટે Allow કે Block ક્રિયા સાથે યાદી આપે છે.
યુઝર એજન્ટ પર ભરોસો કરવાને બદલે ચકાસો. કોઈ પણ PerplexityBot કહેતી વિનંતી મોકલી શકે છે, તેથી ફક્ત યુઝર એજન્ટ પર આધારિત allow નિયમ નકલખોરોને પણ અંદર આવવા દે છે, અને તેના પર આધારિત બ્લૉકથી બચી શકાય છે. સ્રોત IPને Perplexityની પ્રકાશિત યાદીઓ સામે તપાસવાથી બંને પ્રકારના નિયમ ભરોસાપાત્ર બને છે.
AISeeWhy PerplexityBot અને Perplexity-Userને બીજા 12 ક્રૉલર સાથે ચકાસે છે. બંને નક્કી કરે છે કે Perplexity જવાબમાં તમારું પેજ વાપરી શકે કે નહીં, તેથી બેમાંથી કોઈનો પણ બ્લૉક સુધારવાના નિયમ સાથે P1 તરીકે બતાવાય છે.
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું Perplexity AI મૉડલની ટ્રેનિંગ માટે મારું કન્ટેન્ટ વાપરે છે?
Perplexity કહે છે કે PerplexityBot કે Perplexity-User બેમાંથી કોઈ AI ફાઉન્ડેશન મૉડલની ટ્રેનિંગ માટે કન્ટેન્ટ ભેગું કરવા વપરાતો નથી.
Perplexity-User robots.txtને કેમ અવગણે છે?
Perplexityનો તર્ક એ છે કે પેજ યુઝરે માંગ્યું હતું, તેથી ફેચ ઑટોમેટેડ ક્રૉલિંગ તરીકે નહીં પણ એ યુઝર વતી થાય છે. તેના દસ્તાવેજ કહે છે કે આ કારણે ફેચર સામાન્ય રીતે robots.txtને અવગણે છે.
જરૂર પડે તો હું Perplexity-Userને કેવી રીતે બ્લૉક કરી શકું?
યુઝર એજન્ટ ટોકન અને Perplexityની પ્રકાશિત IP રેન્જ સાથે મેળવીને તમારું ફાયરવૉલ કે CDN વાપરો. આ એજન્ટ માટે robots.txt ભરોસાપાત્ર નિયંત્રણ નથી.
robots.txtનો ફેરફાર લાગુ થતાં કેટલો સમય લાગે?
Perplexity કહે છે કે તેની સિસ્ટમમાં ફેરફારો દેખાવામાં 24 કલાક સુધી લાગી શકે છે.
શું PerplexityBot બ્લૉક કરવાથી Perplexity મારું કન્ટેન્ટ બિલકુલ વાપરતું બંધ થશે?
ના. તે તમારાં પેજને Perplexityના સર્ચ ઇન્ડેક્સના ક્રૉલથી બહાર રાખે છે, પણ યુઝર પૂછે ત્યારે Perplexity-User હજી પેજ મેળવી શકે છે, કારણ કે એ ફેચર સામાન્ય રીતે robots.txtને અવગણે છે.
સ્રોતો
- Perplexity: Perplexity ક્રૉલર
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI ક્રૉલરનું સંચાલન (AI Crawl Control)