የPerplexity ክሮውለሮች፦ PerplexityBot እና Perplexity-User
Perplexity ድረ-ገጾችን በፍለጋ ውጤቶቹ ውስጥ ለማሳየት እና ለማገናኘት PerplexityBotን፣ የተጠቃሚ ጥያቄ ሲያስፈልገው ገጾችን ለመጎብኘት ደግሞ Perplexity-Userን ይጠቀማል። Perplexity PerplexityBot robots.txtን እንደሚከተል እና መሠረታዊ ሞዴሎችን ለማሰልጠን እንደማይውል ይናገራል፣ Perplexity-User ግን ማምጣቱን ተጠቃሚ ስለጠየቀ በአጠቃላይ robots.txtን ችላ ይላል። የPerplexity ፍለጋ ገጾችዎን እንዳይጠቀም PerplexityBotን በrobots.txt ይከልክሉ፤ Perplexity-Userን ለማስቆም ደግሞ ከታተሙ IP ክልሎቹ ጋር የሚዛመድ የፋየርዎል ደንብ ይጠቀሙ።
Perplexity የተገነባው በጥቅሶች ዙሪያ ነው፦ መልሶች ወደሚጠቀሙባቸው ገጾች ከሚወስዱ ቁጥር ያላቸው አገናኞች ጋር ይመጣሉ። የክሮውለር ሰነዶቹ አጭር ናቸው፣ የትኛው ወኪል robots.txtን እንደሚከተል እና የትኛው እንደማይከተል በግልጽ ይገልጻሉ። ያ ልዩነት አንዳቸውንም ለመቆጣጠር ከፈለጉ የትኛውን መሣሪያ እንደሚጠቀሙ ይወስናል።
በዚህ ገጽ ላይ
PerplexityBot ምን ይሠራል?
PerplexityBot ድረ-ገጾችን በPerplexity የፍለጋ ውጤቶች ውስጥ ለማሳየት እና ለማገናኘት የተሠራ ነው። Perplexity ለAI መሠረታዊ ሞዴሎች ይዘትን ለመሰብሰብ እንደማይውል ይናገራል። በPerplexity የፍለጋ ውጤቶች ውስጥ ለመታየት Perplexity PerplexityBotን በrobots.txt ውስጥ እንዲፈቅዱ ይመክራል።
Perplexity ይህን user agent ይገልጻል፦
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) የስሪት ቁጥሩ ሊለወጥ ይችላል፣ ስለዚህ የፋየርዎል ደንቦች PerplexityBot የሚለውን token ማዛመድ አለባቸው። Perplexity የIP ክልሎቹን በperplexity.ai/perplexitybot.json ያትማል።
Perplexity-User ምን ይሠራል?
Perplexity-User የተጠቃሚ ድርጊቶችን ይደግፋል። አንድ ሰው Perplexityን ጥያቄ ሲጠይቅ፣ ትክክለኛ መልስ ለመስጠት ለማገዝ የድር ገጽን ሊጎበኝ እና ወደዚያ ገጽ አገናኝ ሊያካትት ይችላል። Perplexity ድርን ክሮውል ለማድረግ ወይም የስልጠና ውሂብ ለመሰብሰብ እንደማይውል ይናገራል።
የተገለጸው user agentው Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) ነው፣ የIP ክልሎቹም በperplexity.ai/perplexity-user.json ታትመዋል።
robots.txt ምን ይቆጣጠራል፣ ምንስ አይቆጣጠርም?
ዋናው ነጥብ ይህ ነው። Perplexity ማምጣቱን ተጠቃሚ ስለጠየቀ Perplexity-User በአጠቃላይ የrobots.txt ደንቦችን ችላ እንደሚል ይገልጻል። ለPerplexityBot የሚሆን የrobots.txt ቡድን ለፍለጋ indexingን ይነካል፤ ተጠቃሚን ወክሎ የሚደረጉ የቀጥታ fetchesን በአስተማማኝ ሁኔታ አያስቆምም።
PerplexityBotን በrobots.txt መከልከል፦ ገጾችዎ ለPerplexity የፍለጋ index ክሮውል አይደረጉም፣ ስለዚህ የመታየታቸው እና የመገናኘታቸው ዕድል ይቀንሳል።Perplexity-Userን በrobots.txt መከልከል፦ በPerplexity ሰነዶች መሠረት fetcherው ይህን በአጠቃላይ ችላ ይላል፣ ስለዚህ አስተማማኝ መቆጣጠሪያ አይደለም።Perplexity-Userን በፋየርዎል ላይ ማገድ፦ ማምጣቱ አይሳካም፣ ስለ ገጽዎ የሚጠይቁ ተጠቃሚዎችም ያለ እሱ መልስ ያገኛሉ።- ሁለቱንም መፍቀድ፦ Perplexity ገጾችዎን index ማድረግ እና ተጠቃሚ ሲጠይቅ በቀጥታ ማንበብ ይችላል።
Perplexity እያንዳንዱ የrobots.txt ቅንብር ለብቻው እንደሚሠራ፣ ለውጦችም እስኪንጸባረቁ እስከ 24 ሰዓታት ሊወስዱ እንደሚችሉ ይናገራል።
Perplexity ከChatGPT እና Claude በምን ይለያል?
ሦስቱም አቅራቢዎች የፍለጋ ክሮውለርን በተጠቃሚ ከተጠየቀ fetcher ይለያሉ። ሁለት ዝርዝሮች Perplexityን ይለዩታል። አንደኛ፣ የተለየ የስልጠና ክሮውለር አያስኬድም፦ PerplexityBot ለAI መሠረታዊ ሞዴሎች ይዘትን ለመሰብሰብ እንደማይውል ይናገራል፣ ስለዚህ የሚመረጥ የስልጠና token የለም። ሁለተኛ፣ የተጠቃሚ fetcherው በአጠቃላይ robots.txtን ችላ እንደሚል በግልጽ ይናገራል፣ OpenAI ግን robots.txt በChatGPT-User ላይ ላይተገበር እንደሚችል ይናገራል፣ Anthropic ደግሞ Claude-Userን ጨምሮ ቦቶቹ robots.txtን እንደሚያከብሩ ይናገራል።
በተግባር ይህ ማለት በrobots.txt ውስጥ ለPerplexity የፍለጋ ክሮውለር አንድ ውሳኔ፣ በተጠቃሚ የተጠየቁ fetchesን ማስቆም ከፈለጉ ደግሞ የፋየርዎል ውሳኔ ማለት ነው።
ለPerplexity የትኛውን robots.txt መጠቀም አለብኝ?
መጠቀስ ከፈለጉ የፍለጋ ክሮውለሩን በግልጽ ይፍቀዱ። የተሰየመ ቡድን ከ* ደንቦችን እንደማይወርስ ያስታውሱ፣ ስለዚህ ማንኛውንም የግል paths ይድገሙ፦
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot የስልጠና ክሮውለር ስላልሆነ ከሞዴል ስልጠና ለመውጣት እሱን ማገድ ያንን ዓላማ ሳያሳካ በፍለጋ ውስጥ መታየትዎን ያሳጣዎታል።
በrobots.txt ውስጥ sitemap ከዘረዘሩ የSitemap: መስመሩን ከማንኛውም ቡድን ውጭ ወይም በፋይሉ መጨረሻ ላይ ያስቀምጡ፤ በሁሉም ክሮውለሮች ላይ ይተገበራል። sitemapው ራሱ በፋየርዎልዎ እንዳልታገደም ያረጋግጡ፣ ምክንያቱም ሊያመጣው የማይችል ክሮውለር አዳዲስ ወይም የተለወጡ ገጾችን ለማግኘት ሊጠቀምበት አይችልም።
ፋየርዎሉ Perplexityን እንደማያግድ እንዴት አረጋግጣለሁ?
የቦት መከላከያ ብዙ ጊዜ ከአሳሽ ያልሆነን ማንኛውንም ጥያቄ እንደ አጠራጣሪ ይመለከታል። ገጽዎን በእያንዳንዱ የPerplexity user agent ይጠይቁ እና ምላሹን ከአሳሽ ጥያቄ ጋር ያነጻጽሩ። ክሮውለሩ 403፣ 429 ወይም የchallenge ገጽ ካገኘ፣ እውነተኛ የPerplexity ትራፊክ ብቻ እንዲያልፍ tokenኑን እና በተሻለ ሁኔታ የታተሙትን IP ክልሎች የሚያዛምድ የመፍቀጃ ደንብ ይጨምሩ። በCloudflare ውስጥ AI Crawl Control የAI ክሮውለሮችን ለእያንዳንዳቸው Allow ወይም Block እርምጃ ጋር ይዘረዝራል።
user agentን ከማመን ይልቅ ያረጋግጡ። ማንም ሰው PerplexityBot የሚል ጥያቄ መላክ ይችላል፣ ስለዚህ በuser agent ብቻ ላይ የተመሠረተ የመፍቀጃ ደንብ አስመሳዮችንም ያስገባል፣ በእሱ ላይ የተመሠረተ እገዳም ሊታለፍ ይችላል። የምንጩን IP ከPerplexity የታተሙ ዝርዝሮች ጋር መፈተሽ ሁለቱንም ዓይነት ደንቦች አስተማማኝ ያደርጋቸዋል።
AISeeWhy PerplexityBotን እና Perplexity-Userን ከሌሎች 12 ክሮውለሮች ጋር ይፈትሻል። ሁለቱም Perplexity ገጽዎን በመልስ ውስጥ መጠቀም ይችል እንደሆነ ስለሚወስኑ፣ የአንዳቸውም እገዳ ለማስተካከል ከሚያስፈልገው ደንብ ጋር እንደ P1 ሪፖርት ይደረጋል።
ቀጣይ እርምጃዎች
በዚህ ጽሑፍ ውስጥ ያሉ ክሮውለሮች
ተደጋግመው የሚጠየቁ ጥያቄዎች
Perplexity ይዘቴን የAI ሞዴሎችን ለማሰልጠን ይጠቀማል?
Perplexity PerplexityBotም ሆነ Perplexity-User የAI መሠረታዊ ሞዴሎችን ለማሰልጠን ይዘት ለመሰብሰብ እንደማይውሉ ይናገራል።
Perplexity-User robots.txtን ለምን ችላ ይላል?
የPerplexity ምክንያት ገጹን የጠየቀው ተጠቃሚ ስለሆነ ማምጣቱ እንደ አውቶማቲክ ክሮውሊንግ ሳይሆን ያንን ተጠቃሚ ወክሎ ይሠራል የሚል ነው። ሰነዶቹ fetcherው በዚህ ምክንያት በአጠቃላይ robots.txtን ችላ እንደሚል ይናገራሉ።
ካስፈለገኝ Perplexity-Userን እንዴት ማገድ እችላለሁ?
የuser agent tokenኑን እና የPerplexity የታተሙ IP ክልሎችን በማዛመድ ፋየርዎልዎን ወይም CDNዎን ይጠቀሙ። robots.txt ለዚህ ወኪል አስተማማኝ መቆጣጠሪያ አይደለም።
የrobots.txt ለውጥ እስኪተገበር ምን ያህል ጊዜ ይወስዳል?
Perplexity ስርዓቶቹ ለውጦችን እስኪያንጸባርቁ እስከ 24 ሰዓታት ሊወስድ እንደሚችል ይናገራል።
PerplexityBotን ማገድ Perplexity ይዘቴን ጨርሶ እንዳይጠቀም ያስቆማል?
አያስቆምም። ገጾችዎን ለPerplexity የፍለጋ index ከሚደረገው ክሮውል ውጭ ያደርጋቸዋል፣ ነገር ግን ተጠቃሚ ሲጠይቅ Perplexity-User አሁንም ገጽን ማምጣት ይችላል፣ ምክንያቱም ያ fetcher በአጠቃላይ robots.txtን ችላ ይላል።
ምንጮች
- Perplexity: የPerplexity ክሮውለሮች
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: የAI ክሮውለሮችን ማስተዳደር (AI Crawl Control)