Perplexity-ի ռոբոտները. PerplexityBot և Perplexity-User
Perplexity-ն օգտագործում է PerplexityBot-ը՝ իր որոնման արդյունքներում կայքեր ցուցադրելու և հղելու համար, և Perplexity-User-ը՝ էջեր այցելելու համար, երբ դրանք պետք են օգտատիրոջ հարցին։ Perplexity-ն ասում է, որ PerplexityBot-ը հետևում է robots.txt-ին և չի օգտագործվում հիմնային մոդելների ուսուցման համար, մինչդեռ Perplexity-User-ը, որպես կանոն, անտեսում է robots.txt-ը, քանի որ բեռնումը խնդրել է օգտատերը։ Որպեսզի Perplexity-ի որոնումը չօգտագործի ձեր էջերը, robots.txt-ում արգելեք PerplexityBot-ը. Perplexity-User-ը կանգնեցնելու համար օգտագործեք ֆայրվոլի կանոն՝ նրա հրապարակված IP տիրույթներով։
Perplexity-ն կառուցված է մեջբերումների շուրջ. պատասխանները գալիս են համարակալված հղումներով դեպի այն էջերը, որոնց վրա հենվում են։ Նրա ռոբոտների փաստաթղթերը կարճ են, և դրանք հստակ նշում են, թե որ գործակալն է հետևում robots.txt-ին, և որը՝ ոչ։ Այդ տարբերությունն է որոշում, թե որ գործիքն օգտագործել, եթե ցանկանում եք վերահսկել դրանցից որևէ մեկը։
Այս էջում
Ի՞նչ է անում PerplexityBot-ը
PerplexityBot-ը նախատեսված է Perplexity-ի որոնման արդյունքներում կայքեր ցուցադրելու և հղելու համար։ Perplexity-ն ասում է, որ այն չի օգտագործվում AI հիմնային մոդելների համար բովանդակություն հավաքելու նպատակով։ Perplexity-ի որոնման արդյունքներում հայտնվելու համար Perplexity-ն խորհուրդ է տալիս թույլատրել PerplexityBot-ին robots.txt-ում։
Perplexity-ն փաստաթղթավորում է այս user agent-ը.
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Տարբերակի համարը կարող է փոխվել, ուստի ֆայրվոլի կանոնները պետք է համընկնեն PerplexityBot նշանի հետ։ Perplexity-ն հրապարակում է IP տիրույթները perplexity.ai/perplexitybot.json-ում։
Ի՞նչ է անում Perplexity-User-ը
Perplexity-User-ը աջակցում է օգտատերերի գործողություններին։ Երբ ինչ-որ մեկը հարց է տալիս Perplexity-ին, այն կարող է այցելել վեբ էջ՝ ճշգրիտ պատասխան տալուն օգնելու համար, և ներառել այդ էջի հղումը։ Perplexity-ն ասում է, որ այն չի օգտագործվում վեբի ռոբոտային բեռնման կամ ուսուցման տվյալներ հավաքելու համար։
Նրա փաստաթղթավորված user agent-ը Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) է, իսկ IP տիրույթները հրապարակված են perplexity.ai/perplexity-user.json-ում։
Ի՞նչ է վերահսկում robots.txt-ը, և ի՞նչ՝ ոչ
Սա հիմնական կետն է։ Perplexity-ը նշում է, որ քանի որ բեռնումը խնդրել է օգտատերը, Perplexity-User-ը, որպես կանոն, անտեսում է robots.txt-ի կանոնները։ robots.txt-ում PerplexityBot-ի խումբը ազդում է որոնման համար ինդեքսավորման վրա, բայց հուսալիորեն չի կանգնեցնում օգտատիրոջ անունից ուղիղ բեռնումները։
- Արգելել
PerplexityBot-ին robots.txt-ում. ձեր էջերը չեն բեռնվում Perplexity-ի որոնման ինդեքսի համար, ուստի ավելի քիչ հավանական է, որ դրանք կցուցադրվեն և կհղվեն։ - Արգելել
Perplexity-User-ին robots.txt-ում. ըստ Perplexity-ի փաստաթղթերի՝ բեռնիչը, որպես կանոն, անտեսում է սա, ուստի դա հուսալի միջոց չէ։ - Արգելափակել
Perplexity-User-ին ֆայրվոլում. բեռնումը ձախողվում է, և ձեր էջի մասին հարցնող օգտատերերը ստանում են պատասխան առանց դրա։ - Թույլատրել երկուսին էլ. Perplexity-ն կարող է ինդեքսավորել ձեր էջերը և կարդալ դրանք ուղիղ, երբ օգտատերը հարցնում է։
Perplexity-ն ասում է, որ robots.txt-ի յուրաքանչյուր կարգավորում աշխատում է անկախ, և որ փոփոխությունների արտացոլումը կարող է տևել մինչև 24 ժամ։
Ինչո՞վ է Perplexity-ն տարբերվում ChatGPT-ից և Claude-ից
Երեք մատակարարներն էլ բաժանում են որոնողական ռոբոտը օգտատիրոջ խնդրած բեռնիչից։ Երկու մանրամասն առանձնացնում է Perplexity-ին։ Առաջին՝ այն չի աշխատեցնում առանձին ուսուցման ռոբոտ. այն ասում է, որ PerplexityBot-ը չի օգտագործվում AI հիմնային մոդելների համար բովանդակություն հավաքելու նպատակով, ուստի ուսուցման նշան, որի մասին պետք է որոշել, չկա։ Երկրորդ՝ այն բացահայտ ասում է, որ իր օգտատիրոջ բեռնիչը, որպես կանոն, անտեսում է robots.txt-ը, մինչդեռ OpenAI-ն ասում է, որ robots.txt-ը կարող է չկիրառվել ChatGPT-User-ի նկատմամբ, իսկ Anthropic-ն ասում է, որ իր բոտերը, ներառյալ Claude-User-ը, հարգում են robots.txt-ը։
Գործնականում սա նշանակում է մեկ որոշում Perplexity-ի որոնողական ռոբոտի համար robots.txt-ում և ֆայրվոլի որոշում, եթե երբևէ ցանկանաք կանգնեցնել օգտատիրոջ խնդրած բեռնումները։
Ի՞նչ robots.txt օգտագործել Perplexity-ի համար
Եթե ցանկանում եք մեջբերվել, բացահայտ թույլատրեք որոնողական ռոբոտին։ Հիշեք, որ անվանված խումբը կանոններ չի ժառանգում *-ից, ուստի կրկնեք բոլոր մասնավոր ուղիները.
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Քանի որ PerplexityBot-ը ուսուցման ռոբոտ չէ, մոդելների ուսուցումից հրաժարվելու համար դրա արգելափակումը ձեզ կարժենա տեսանելիություն որոնման մեջ՝ առանց այդ նպատակին ծառայելու։
Եթե robots.txt-ում նշում եք sitemap, Sitemap: տողը պահեք ցանկացած խմբից դուրս կամ ֆայլի վերջում. այն կիրառվում է բոլոր ռոբոտների նկատմամբ։ Համոզվեք նաև, որ sitemap-ն ինքը արգելափակված չէ ձեր ֆայրվոլի կողմից, քանի որ ռոբոտը, որը չի կարող բեռնել այն, չի կարող օգտագործել այն նոր կամ փոփոխված էջեր գտնելու համար։
Ինչպե՞ս համոզվել, որ ֆայրվոլը չի արգելափակում Perplexity-ին
Բոտերից պաշտպանությունը հաճախ ցանկացած ոչ բրաուզերային հարցում կասկածելի է համարում։ Հարցրեք ձեր էջը Perplexity-ի յուրաքանչյուր user agent-ով և համեմատեք պատասխանը բրաուզերի հարցման հետ։ Եթե ռոբոտը ստանում է 403, 429 կամ ստուգման էջ, ավելացրեք թույլատրող կանոն, որը համընկնում է նշանի և, իդեալական դեպքում, հրապարակված IP տիրույթների հետ, որպեսզի անցնի միայն Perplexity-ի իրական երթևեկը։ Cloudflare-ում AI Crawl Control-ը ցույց է տալիս AI ռոբոտները՝ յուրաքանչյուրի համար Allow կամ Block գործողությամբ։
Ստուգեք, այլ ոչ թե վստահեք user agent-ին։ Ցանկացած ոք կարող է ուղարկել հարցում, որում գրված է PerplexityBot, ուստի միայն user agent-ի վրա հիմնված թույլատրող կանոնը ներս է թողնում նաև նմանակողներին, իսկ դրա վրա հիմնված արգելափակումը կարելի է շրջանցել։ Աղբյուր IP-ի ստուգումը Perplexity-ի հրապարակված ցուցակներով երկու տեսակի կանոններն էլ հուսալի է դարձնում։
AISeeWhy-ն փորձարկում է PerplexityBot-ը և Perplexity-User-ը 12 այլ ռոբոտների հետ միասին։ Քանի որ երկուսն էլ որոշում են, թե արդյոք Perplexity-ն կարող է օգտագործել ձեր էջը պատասխանում, դրանցից որևէ մեկի արգելափակումը նշվում է որպես P1՝ այն ուղղելու կանոնով։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Արդյո՞ք Perplexity-ն օգտագործում է իմ բովանդակությունը AI մոդելներ ուսուցանելու համար
Perplexity-ն ասում է, որ ո՛չ PerplexityBot-ը, ո՛չ Perplexity-User-ը չեն օգտագործվում AI հիմնային մոդելների ուսուցման համար բովանդակություն հավաքելու նպատակով։
Ինչո՞ւ է Perplexity-User-ն անտեսում robots.txt-ը
Perplexity-ի տրամաբանությունն այն է, որ օգտատերը խնդրել է էջը, ուստի բեռնումը գործում է այդ օգտատիրոջ անունից, այլ ոչ թե որպես ավտոմատ ռոբոտային բեռնում։ Նրա փաստաթղթերում ասվում է, որ այդ պատճառով բեռնիչը, որպես կանոն, անտեսում է robots.txt-ը։
Ինչպե՞ս արգելափակել Perplexity-User-ին, եթե դա պետք է
Օգտագործեք ձեր ֆայրվոլը կամ CDN-ը՝ համընկնելով user agent-ի նշանի և Perplexity-ի հրապարակված IP տիրույթների հետ։ robots.txt-ը այս գործակալի համար հուսալի միջոց չէ։
Որքա՞ն ժամանակ է պետք robots.txt-ի փոփոխության կիրառման համար
Perplexity-ն ասում է, որ փոփոխությունները նրա համակարգերում արտացոլելու համար կարող է պահանջվել մինչև 24 ժամ։
PerplexityBot-ին արգելափակելը ընդհանրապես կկանգնեցնի՞ Perplexity-ին իմ բովանդակությունն օգտագործելուց
Ոչ։ Այն ձեր էջերը դուրս է պահում Perplexity-ի որոնման ինդեքսի բեռնումից, բայց Perplexity-User-ը դեռ կարող է բեռնել էջը, երբ օգտատերը հարցնում է դրա մասին, քանի որ այդ բեռնիչը, որպես կանոն, անտեսում է robots.txt-ը։
Աղբյուրներ
- Perplexity: Perplexity-ի ռոբոտները
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI ռոբոտների կառավարում (AI Crawl Control)