Crawler za Perplexity: PerplexityBot na Perplexity-User
Perplexity hutumia PerplexityBot kuonyesha na kuunganisha tovuti katika matokeo yake ya utafutaji, na Perplexity-User kutembelea kurasa swali la mtumiaji linapozihitaji. Perplexity inasema PerplexityBot hufuata robots.txt na haitumiki kufunza miundo ya msingi, huku Perplexity-User kwa kawaida ikipuuza robots.txt kwa sababu mtumiaji ndiye aliyeomba upakuaji. Ili kuzuia utafutaji wa Perplexity usitumie kurasa zako, weka disallow kwa PerplexityBot katika robots.txt; ili kusimamisha Perplexity-User, tumia sheria ya firewall inayolingana na safu zake za IP zilizochapishwa.
Perplexity imejengwa kuzunguka unukuzi: majibu huja na viungo vyenye namba vya kurasa ambazo yanatoka. Nyaraka zake za crawler ni fupi, na zinaeleza wazi ni wakala yupi anafuata robots.txt na yupi hafuati. Tofauti hiyo ndiyo inayoamua utatumia zana gani ukitaka kumdhibiti yeyote kati yao.
Kwenye ukurasa huu
PerplexityBot hufanya nini?
PerplexityBot imeundwa kuonyesha na kuunganisha tovuti katika matokeo ya utafutaji ya Perplexity. Perplexity inasema haitumiki kupitia maudhui kwa ajili ya miundo ya msingi ya AI. Ili kuonekana katika matokeo ya utafutaji ya Perplexity, Perplexity inapendekeza kuruhusu PerplexityBot kwenye robots.txt.
Perplexity inaeleza user agent hii:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Namba ya toleo inaweza kubadilika, kwa hivyo sheria za firewall zinapaswa kulinganisha tokeni PerplexityBot. Perplexity huchapisha masafa ya IP kwenye perplexity.ai/perplexitybot.json.
Perplexity-User hufanya nini?
Perplexity-User inasaidia vitendo vya watumiaji. Mtu anapoiuliza Perplexity swali, inaweza kutembelea ukurasa wa wavuti ili kusaidia kutoa jibu sahihi na kujumuisha kiungo cha ukurasa huo. Perplexity inasema haitumiki kupitia wavuti wala kukusanya data ya mafunzo.
User agent yake iliyoandikwa ni Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), na masafa yake ya IP yamechapishwa kwenye perplexity.ai/perplexity-user.json.
robots.txt inadhibiti nini, na nini haidhibiti?
Hili ndilo jambo kuu. Perplexity inasema kwa kuwa mtumiaji ndiye aliyeomba upakuaji, Perplexity-User kwa kawaida hupuuza sheria za robots.txt. Kundi la robots.txt la PerplexityBot huathiri kuorodhesha kwa utafutaji; halisimamishi kwa uhakika upakuaji wa moja kwa moja kwa niaba ya mtumiaji.
- Zuia
PerplexityBotkwenye robots.txt: kurasa zako hazipitiwi kwa ajili ya faharasa ya utafutaji ya Perplexity, kwa hivyo uwezekano wa kuonyeshwa na kuunganishwa ni mdogo. - Zuia
Perplexity-Userkwenye robots.txt: kwa mujibu wa nyaraka za Perplexity, mpakuaji huyu kwa kawaida hupuuza hili, kwa hivyo si udhibiti wa kutegemewa. - Zuia
Perplexity-Userkwenye firewall: upakuaji unashindwa, na watumiaji wanaouliza kuhusu ukurasa wako hupata jibu bila ukurasa huo. - Ruhusu wote wawili: Perplexity inaweza kuorodhesha kurasa zako na kuzisoma moja kwa moja mtumiaji anapouliza.
Perplexity inasema kila mpangilio wa robots.txt hufanya kazi kwa kujitegemea, na kwamba mabadiliko yanaweza kuchukua hadi saa 24 kuonekana.
Perplexity inatofautianaje na ChatGPT na Claude?
Watoa huduma wote watatu hutenganisha crawler ya utafutaji na mpakuaji anayeombwa na mtumiaji. Mambo mawili yanaitofautisha Perplexity. Kwanza, haiendeshi crawler tofauti ya mafunzo: inasema PerplexityBot haitumiki kupitia maudhui kwa ajili ya miundo ya msingi ya AI, kwa hivyo hakuna tokeni ya mafunzo ya kufanyia uamuzi. Pili, inasema waziwazi kwamba mpakuaji wake wa watumiaji kwa kawaida hupuuza robots.txt, ilhali OpenAI inasema huenda robots.txt isihusu ChatGPT-User na Anthropic inasema bot zake, pamoja na Claude-User, huheshimu robots.txt.
Kwa vitendo hii inamaanisha uamuzi mmoja kwa crawler ya utafutaji ya Perplexity kwenye robots.txt, na uamuzi wa firewall ukiwahi kutaka kusimamisha upakuaji unaoombwa na watumiaji.
Nitumie robots.txt gani kwa Perplexity?
Ukitaka kunukuliwa, ruhusu crawler ya utafutaji waziwazi. Kumbuka kwamba kundi lenye jina halirithi sheria kutoka *, kwa hivyo rudia njia zozote za faragha:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Kwa kuwa PerplexityBot si crawler ya mafunzo, kuizuia ili kujiondoa kwenye mafunzo ya miundo kungekugharimu kuonekana katika utafutaji bila kutimiza lengo hilo.
Ukiorodhesha sitemap kwenye robots.txt, weka mstari wa Sitemap: nje ya kundi lolote au mwishoni mwa faili; unahusu crawler zote. Pia hakikisha sitemap yenyewe haizuiwi na firewall yako, kwa kuwa crawler isiyoweza kuipakua haiwezi kuitumia kupata kurasa mpya au zilizobadilishwa.
Ninahakikishaje kwamba firewall haizuii Perplexity?
Ulinzi dhidi ya bot mara nyingi huchukulia ombi lolote lisilo la kivinjari kuwa la kutiliwa shaka. Omba ukurasa wako kwa kila user agent ya Perplexity na ulinganishe jibu na ombi la kivinjari. Crawler ikipata 403, 429 au ukurasa wa changamoto, ongeza sheria ya kuruhusu inayolinganisha tokeni na, ikiwezekana, masafa ya IP yaliyochapishwa, ili trafiki halisi ya Perplexity pekee ipite. Katika Cloudflare, AI Crawl Control huorodhesha crawler za AI pamoja na kitendo cha Allow au Block kwa kila moja.
Thibitisha badala ya kuiamini user agent. Mtu yeyote anaweza kutuma ombi linalosema PerplexityBot, kwa hivyo sheria ya kuruhusu inayotegemea user agent pekee huwaruhusu waigaji pia, na kizuizi kinachoitegemea kinaweza kukwepwa. Kukagua IP ya chanzo dhidi ya orodha zilizochapishwa na Perplexity hufanya aina zote mbili za sheria ziaminike.
AISeeWhy hujaribu PerplexityBot na Perplexity-User pamoja na crawler nyingine 12. Kwa kuwa zote mbili huamua kama Perplexity inaweza kutumia ukurasa wako katika jibu, kizuizi cha yoyote kati yao huripotiwa kama P1, pamoja na sheria ya kukirekebisha.
Hatua zinazofuata
- Kikagua na kijaribu cha robots.txt kwa crawler za AI
- Ukaguzi wa IP ya crawler za AI
- Tazama mfano wa ripoti kamili
- Ufuatiliaji wa crawler za AI
- Mipango na bei
Crawler katika makala hii
Maswali yanayoulizwa mara kwa mara
Je, Perplexity hutumia maudhui yangu kufunza miundo ya AI?
Perplexity inasema hakuna kati ya PerplexityBot wala Perplexity-User kinachotumika kukusanya maudhui kwa ajili ya kufunza miundo ya msingi ya AI.
Kwa nini Perplexity-User hupuuza robots.txt?
Hoja ya Perplexity ni kwamba mtumiaji aliomba ukurasa, kwa hivyo upakuaji unafanywa kwa niaba ya mtumiaji huyo badala ya kuwa upitiaji wa kiotomatiki. Nyaraka zake zinasema mpakuaji huyu kwa kawaida hupuuza robots.txt kwa sababu hiyo.
Ninawezaje kuzuia Perplexity-User ikihitajika?
Tumia firewall au CDN yako, ukilinganisha tokeni ya user agent na masafa ya IP yaliyochapishwa na Perplexity. robots.txt si udhibiti wa kutegemewa kwa wakala huyu.
Badiliko la robots.txt huchukua muda gani kutumika?
Perplexity inasema mifumo yake inaweza kuchukua hadi saa 24 kuakisi mabadiliko.
Je, kuzuia PerplexityBot kutasimamisha Perplexity kutumia maudhui yangu kabisa?
Hapana. Kunazuia kurasa zako kupitiwa kwa ajili ya faharasa ya utafutaji ya Perplexity, lakini Perplexity-User bado inaweza kupakua ukurasa mtumiaji anapouliza kuuhusu, kwa sababu mpakuaji huyo kwa kawaida hupuuza robots.txt.
Vyanzo
- Perplexity: Crawler za Perplexity
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Kudhibiti crawler za AI (AI Crawl Control)