Ինչո՞ւ իմ կայքը չի երևում Perplexity-ում
Պարզեք մոտ 30 վայրկյանում՝ PerplexityBot-ը կարո՞ղ է հասնել ձեր էջին, և որ արգելքը (robots.txt, ֆայրվոլ թե JavaScript) ձեզ դուրս է պահում նրա պատասխաններից։
Անվճար · Առանց գրանցման · Արդյունքը 30 վայրկյանում
robots.txt PerplexityBot-ի համար
PerplexityBot-ին վերաբերող խումբը կարդացվում է RFC 9309-ի կանոններով, և ցուցադրվում է որոշող տողը։
Ֆայրվոլի և CDN-ի արգելքներ
403-ը, 429-ը կամ ստուգման էջը, որը ստանում են միայն ռոբոտները, նշվում է, և պատասխանած ֆայրվոլն անվանվում է։
Ինչ է վերադարձնում էջը
Ռոբոտի համար կարգավիճակը, չափը և վերահասցեավորումները համեմատվում են սովորական բրաուզերի հետ, ուստի ռոբոտների համար ավելի սակավ պատասխանը աչքի է ընկնում։
Լուծում յուրաքանչյուր գտածոյի համար
Յուրաքանչյուր գտածո գալիս է կատարելիք փոփոխությամբ։ Անվճար ստուգումը ցույց է տալիս ձեր միավորը և առաջին գտածոն, իսկ ամբողջական հաշվետվությունը՝ $29, մեկ անգամ։
Perplexity-ն կարող է ցուցադրել և հղել միայն այն էջերը, որոնք PerplexityBot-ին թույլատրված է բեռնել, և որոնք նա իրականում ստանում է։ Սովորական պատճառներն են robots.txt-ի կանոնը, որն արգելում է PerplexityBot-ին, ֆայրվոլը կամ CDN-ը, որը նրան պատասխանում է 403-ով կամ ստուգման (challenge) էջով, և տեքստը, որը հայտնվում է միայն JavaScript-ի գործարկումից հետո։ Ստուգեք երեքն էլ, ապա թույլատրեք Perplexity-ի հրապարակված IP տիրույթները։ Եթե Perplexity-ն մեջբերում է մրցակցին, ոչ թե ձեզ, նախ բացառեք այս արգելափակումները, ապա համեմատեք ձեր էջը այն էջի հետ, որը նա մեջբերում է նույն հարցի համար։
Գտեք արգելքը 3 քայլով
- Ստուգեք robots.txt-ը
Փնտրեք
PerplexityBot-ին անվանող խումբ։ Առանց դրա կիրառվում էUser-agent: *խումբը, իսկ անվանված խումբը լիովին փոխարինում է*-ին։ - Համեմատեք բրաուզերը և ռոբոտը
Հարցրեք էջը որպես բրաուզեր և որպես Perplexity-ի յուրաքանչյուր գործակալ։ 403, 429 կամ 503 միայն գործակալների համար,
Just a moment...էջը կամ շատ ավելի փոքր 200-ը մատնանշում է ֆայրվոլը։ - Նայեք էջի սկզբնական կոդին
Բեռնեք էջը
curl-ով և փնտրեք մի նախադասություն ձեր հիմնական բովանդակությունից։ Եթե այն չկա, տեքստը ավելացնում են սկրիպտները. ցուցադրեք այն սերվերում։
Հաճախ տրվող հարցեր
Ինչո՞ւ է Perplexity-ն խորհուրդ տալիս իմ մրցակցին, ոչ թե ինձ
Perplexity-ն չի հրապարակում, թե ինչպես է ընտրում աղբյուրները, բայց կարող է մեջբերել միայն այն էջերը, որոնք իր գործակալները կարող են կարդալ։ Նախ համոզվեք, որ PerplexityBot-ը և Perplexity-User-ը ստանում են ձեր էջը։ Եթե ստանում են, բացեք այն էջը, որը Perplexity-ն մեջբերում է նույն հարցի համար, և համեմատեք. արդյոք ձեր էջը պատասխանում է հենց այդ հարցին՝ սկզբին մոտ, փաստերը տեքստով նշված։ AISeeWhy-ի «Տեսանելիություն AI-ում» ստուգումը ձեր գնորդների հարցերը տալիս է Perplexity-ին և երեք այլ օգնականների և ցույց է տալիս, թե որ մրցակիցներն են նշվում ձեր կողքին։
Արդյո՞ք Perplexity-ն ուսուցանում է իր մոդելները իմ բովանդակությամբ
Perplexity-ն ասում է, որ PerplexityBot-ը չի օգտագործվում AI հիմնային մոդելների համար բովանդակություն հավաքելու նպատակով, և որ Perplexity-User-ը ուսուցման համար բովանդակություն չի հավաքում։ Ուստի PerplexityBot-ին արգելելը ուսուցումից հրաժարվելու միջոց չէ. այն միայն նվազեցնում է ձեր տեսանելիությունը Perplexity-ի որոնման արդյունքներում։
robots.txt-ն ուղղելուց որքա՞ն ժամանակ անց Perplexity-ն կնկատի
Perplexity-ն ասում է, որ robots.txt-ի փոփոխությունները նրա համակարգերում արտացոլելու համար կարող է պահանջվել մինչև 24 ժամ։ Ֆայրվոլի փոփոխություններն ուժի մեջ են մտնում, երբ ձեր մատակարարը կիրառում է դրանք, բայց ռոբոտին ժամանակ տվեք վերադառնալու համար՝ նախքան արդյունքը գնահատելը։
Կարո՞ղ եմ արգելափակել Perplexity-User-ին robots.txt-ով
Ոչ հուսալիորեն։ Perplexity-ն ասում է, որ այս գործակալը, որպես կանոն, անտեսում է robots.txt-ը, քանի որ բեռնումը խնդրել է օգտատերը։ Եթե պետք է կանգնեցնել այն, հուսալի միջոցը ֆայրվոլի կանոնն է՝ համընկնող նրա հրապարակված IP տիրույթների հետ։
Բավարա՞ր է user agent-ի ստուգումը Perplexity-ի երթևեկը ճանաչելու համար
Ոչ։ User agent-ները հեշտ է պատճենել։ Համեմատեք աղբյուր IP-ն այն տիրույթների հետ, որոնք Perplexity-ն հրապարակում է perplexitybot.json-ում և perplexity-user.json-ում, և ֆայրվոլի կանոններում համընկնեք և՛ user agent-ը, և՛ IP-ն։
Կարդալ ամբողջական ուղեցույցը
Դուք Perplexity-ին հարցնում եք ձեր արտադրանքի մասին, և այն մեջբերում է մրցակցին, կարծիքների կայքը կամ ֆորումի քննարկումը, բայց երբեք ձեր սեփական էջերը։ Երբեմն դա համապատասխանության հարց է։ Հաճախ դա տեխնիկական արգելափակում է, որը կարելի է գտնել մի քանի րոպեում։ Perplexity-ն փաստաթղթավորում է, թե որ գործակալներն է օգտագործում, ինչ է անում յուրաքանչյուրը և որտեղից է գալիս դրանց երթևեկը, ուստի շղթայի յուրաքանչյուր օղակ կարելի է ստուգել. robots.txt-ը, ձեր սերվերի ուղարկած պատասխանը և այն, ինչ պարունակում է պատասխանը։
Ինչպե՞ս է Perplexity-ն գտնում և կարդում էջերը
Perplexity-ն փաստաթղթավորում է երկու գործակալ։ Նրանք տարբեր խնդիրներ ունեն, և դրանցից որևէ մեկի հետ կապված խնդիրը կարող է ձեր էջը դուրս թողնել պատասխանից։
PerplexityBot-ը նախատեսված է Perplexity-ի որոնման արդյունքներում կայքեր ցուցադրելու և հղելու համար։ Perplexity-ն խորհուրդ է տալիս թույլատրել այն robots.txt-ում, եթե ցանկանում եք այնտեղ հայտնվել, և ասում է, որ այն չի օգտագործվում AI հիմնային մոդելների համար բովանդակություն հավաքելու նպատակով։Perplexity-User-ը աջակցում է օգտատերերի գործողություններին։ Երբ ինչ-որ մեկը հարց է տալիս, այն կարող է այցելել էջ՝ պատասխանելուն օգնելու համար, և հղել այդ էջին։ Perplexity-ն ասում է, որ այն չի օգտագործվում վեբ ռոբոտային բեռնման կամ ուսուցման տվյալներ հավաքելու համար։
Գործնականում PerplexityBot-ը որոշում է, թե արդյոք Perplexity-ն գիտի ձեր էջերի մասին նախքան որևէ մեկի հարցը, իսկ Perplexity-User-ը՝ արդյոք այն կարող է էջն ուղիղ բացել, երբ հարցը դա պահանջում է։ Եթե ցանկանում եք, որ ձեզ մեջբերեն, երկուսն էլ պետք է ստանան նույն էջը, ինչ բրաուզերը։
Արդյո՞ք ձեր robots.txt-ն արգելափակում է PerplexityBot-ին
Բացեք https://yourdomain.com/robots.txt-ը և փնտրեք խումբ, որն անվանում է PerplexityBot-ին։ Եթե այդպիսին չկա, ռոբոտը հետևում է User-agent: * խմբին։ Ըստ RFC 9309-ի՝ համընկնումը մեծատառ-փոքրատառ չի տարբերում, և անվանված խումբն ամբողջությամբ փոխարինում է * խմբին, այլ ոչ թե լրացնում այն։
Այս արգելափակումը տարածված է։ Ամենահայտնի 1 000 դոմենների robots.txt ֆայլերի մեր ուսումնասիրության մեջ robots.txt ունեցող 518 կայքերից 86-ը (16,6%) արգելում էին գլխավոր էջը PerplexityBot-ի համար։ Դա ամենաբարձր մասնաբաժինն էր մեր ստուգած բոլոր AI որոնողական ռոբոտների մեջ. OAI-SearchBot-ն արգելափակված էր 58 կայքում (11,2%)։ Այս կայքերից ոմանք գուցե ցանկացել են կանգնեցնել AI ուսուցումը, բայց Perplexity-ն ասում է, որ PerplexityBot-ը ուսուցման ռոբոտ չէ, ուստի դրա արգելափակումը կորցնում է տեսանելիությունը որոնման մեջ՝ առանց այդ նպատակին ծառայելու։
Կարգավորումը, որը թույլ է տալիս Perplexity-ին մուտք գործել և փակ է պահում մասնավոր բաժինը, այսպիսին է.
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml Ստուգեք նաև, որ ֆայլն ինքը ճիշտ է պատասխանում։ Եթե robots.txt-ը վերադարձնում է սերվերի սխալ, RFC 9309-ը սահմանում է, որ ռոբոտը պետք է ամբողջ կայքը համարի արգելված։ robots.txt-ի հասցեն, որը վերադարձնում է HTML էջ 200 կարգավիճակով, որևէ վավեր կանոն չի պարունակում։ Perplexity-ն ասում է, որ փոփոխությունների արտացոլումը կարող է տևել մինչև 24 ժամ։
Արդյո՞ք ձեր ֆայրվոլը կամ CDN-ն արգելափակում է Perplexity-ին
robots.txt-ը խնդրանք է, ոչ թե մուտքի վերահսկում։ Ձեր ֆայրվոլը, CDN-ը կամ բոտերից պաշտպանությունն է որոշում, թե իրականում ինչ է հետ ուղարկվում, և այն կարող է Perplexity-ին պատասխանել 403-ով, 429-ով կամ ստուգման էջով, մինչդեռ ձեր սեփական այցելությունները բրաուզերից սովորական տեսք ունեն։ Perplexity-ի փաստաթղթերում ասվում է, որ վեբ հավելվածների ֆայրվոլի (WAF) հետևում գտնվող կայքերին կարող է անհրաժեշտ լինել բացահայտ թույլատրել նրա բոտերին։
Ստուգեք դա՝ նույն URL-ը հարցնելով որպես բրաուզեր և որպես Perplexity-ի յուրաքանչյուր գործակալ, ապա համեմատեք կարգավիճակը և չափը.
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Միայն Perplexity-ի գործակալների համար 403, 429 կամ 503, Just a moment... վերնագրով էջ կամ 200 պատասխան, որը շատ ավելի փոքր է, քան բրաուզերինը, բոլորը ցույց են տալիս ֆայրվոլը։ Այս թեստը գալիս է ձեր IP հասցեից, ոչ թե Perplexity-ի, ուստի ցույց է տալիս, թե ինչպես են ձեր կանոնները վերաբերվում user agent-ին. IP-ի վրա հիմնված կանոնները իրական ռոբոտի համար դեռ կարող են տարբեր լինել։
Եթե օգտագործում եք Cloudflare, նկատի ունեցեք երկու բան։ Perplexity-ի փաստաթղթերը կրկնում են Cloudflare-ի սեփական հայտարարությունը, որ Bot Fight Mode-ը հնարավոր չէ շրջանցել WAF-ի հատուկ կանոններով, ուստի եթե այդ գործառույթը ստուգում է Perplexity-ին, թույլատրող կանոնը չի օգնի։ Եվ 2025-ի օգոստոսին Cloudflare-ը հայտարարեց, որ Perplexity-ին հանել է իր verified bots ցուցակից՝ նկատելով այն, ինչ նկարագրեց որպես չհայտարարված ռոբոտային բեռնում. Perplexity-ն վիճարկեց այդ պնդումը։ Ուստի կանոնները, որոնք բաց են թողնում միայն հաստատված բոտերին, կարող են չընդգրկել Perplexity-ին։ Ստուգեք ընթացիկ կարգավիճակը ձեր վահանակում՝ ենթադրելու փոխարեն։
Ինչպե՞ս թույլատրել Perplexity-ին ըստ նրա հրապարակված IP տիրույթների
Ցանկացած ոք կարող է ուղարկել հարցում, որը ներկայանում է որպես PerplexityBot, ուստի թույլատրող կանոնը, որը համընկնում է միայն user agent-ի հետ, ներս է թողնում նաև նմանակողներին։ Perplexity-ն հրապարակում է երկու գործակալների հասցեների տիրույթները և խորհուրդ է տալիս համընկնել user agent-ը և IP հասցեն միասին.
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' Perplexity-ն ասում է, որ այս ցուցակները պարբերաբար թարմացվում են, և առաջարկում է ավտոմատացնել ձեր WAF կանոնների թարմացումը։ Տեղադրեք թույլատրող կանոնը ցանկացած կանոնից վեր, որն արգելափակում կամ ստուգում է հարցումները. առաջինը Cloudflare-ի հատուկ կանոններում կամ ավելի ցածր առաջնահերթության համարով AWS WAF-ում։ Այնուհետև հետևեք ձեր լոգերին, քանի որ ֆայրվոլի փոփոխությունների տարածումը կարող է ժամանակ պահանջել։
Կարո՞ղ է JavaScript ռենդերինգը խանգարել Perplexity-ին կարդալ էջը
Կարող է։ Perplexity-ի ռոբոտների փաստաթղթերը չեն ասում, թե արդյոք նրա գործակալները գործարկում են JavaScript, ուստի անվտանգ ենթադրությունն այն է, որ ռոբոտին անհրաժեշտ տեքստը պետք է լինի սերվերի ուղարկած HTML-ում։ Ամբողջությամբ բրաուզերում կառուցված էջերը, օրինակ՝ միաէջանի հավելվածները առանց սերվերային ռենդերինգի, կարող են հասնել որպես դատարկ կմախք՝ բեռնման նշանով։
Արագ ստուգումը էջը curl-ով բեռնելն է և արդյունքում ձեր հիմնական բովանդակությունից մի նախադասություն փնտրելը։ Եթե այն այնտեղ չէ, տեքստն ավելացնում են սկրիպտները։ Սերվերային ռենդերինգը, ստատիկ գեներացումը կամ ռոբոտների համար նախնական ռենդերինգը դա լուծում են միանգամից բոլոր AI ռոբոտների համար, ոչ միայն Perplexity-ի։
Իսկ եթե ամեն ինչ բաց է, բայց կայքս դեռ չի երևում
Ընթեռնելի լինելը նախապայման է, ոչ թե երաշխիք։ Perplexity-ն չի հրապարակում, թե ինչպես է ընտրում մեջբերվող աղբյուրները, ուստի էջը, որը բոլոր գործակալները կարող են կարդալ, դեռ կարող է զիջել էջերին, որոնք ավելի ուղիղ են պատասխանում հարցին։ Այն, ինչ դուք կարող եք վերահսկել, այն է, որ ոչ մի տեխնիկական խոչընդոտ չլինի. հստակ վերնագիր, տեքստի սկզբում ասված պատասխան և ճշգրիտ փաստեր, որոնք համընկնում են այն բանի հետ, ինչ ասում եք այլ տեղերում։
Հիշեք նաև, թե ինչ չի ընդգրկում robots.txt-ը։ Perplexity-ն ասում է, որ Perplexity-User-ը, որպես կանոն, անտեսում է robots.txt-ը, քանի որ բեռնումը խնդրել է օգտատերը։ Ուստի Perplexity-User-ի կանոնը ուղիղ այցելություններն արգելափակելու հուսալի միջոց չէ, իսկ robots.txt-ը, որը թույլատրում է այն, ապացույց չէ, որ այն անցնում է ձեր ֆայրվոլով։
AISeeWhy-ն հարցնում է ձեր էջը որպես PerplexityBot, Perplexity-User և 12 այլ ռոբոտներ՝ բրաուզերի կողքին, կիրառում է ձեր robots.txt-ի կանոնները յուրաքանչյուրի համար, ճանաչում է ստուգման էջերը և ցույց է տալիս, թե տեքստի որ մասն է հասնում առանց JavaScript-ի, որպեսզի տեսնեք, թե շղթայի որ օղակն է ձախողվում։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Աղբյուրներ
- Perplexity: Perplexity-ի ռոբոտները
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: Perplexity-ն օգտագործում է թաքնված, չհայտարարված ռոբոտներ՝ կայքերի արգելքները շրջանցելու համար
- Perplexity: Գործակալնե՞ր, թե՞ բոտեր. AI-ը բաց վեբում
- AISeeWhy: AI ռոբոտների հասանելիության հաշվետվություն, 2026-11