Неге сайтым Perplexity-де көрінбейді?

PerplexityBot бетіңізге жете ала ма және қандай бұғат (robots.txt, файрвол немесе JavaScript) сізді оның жауаптарынан тыс қалдырып отыр, соны шамамен 30 секундта біліңіз.

Тегін · Тіркелусіз · Нәтиже 30 секундта

PerplexityBot үшін robots.txt

PerplexityBot краулеріне қатысты топ RFC 9309 ережелерімен оқылады, шешуші жол көрсетіледі.

Файрвол мен CDN бұғаттаулары

Тек краулерлерге берілетін 403, 429 немесе тексеру беті белгіленеді, жауап берген файрвол аталады.

Бет не қайтарады

Краулерге берілетін статус, көлем және редиректер қарапайым браузердікімен салыстырылады, сондықтан краулерлерге берілетін жұқа жауап бірден көрінеді.

Әр нәтижеге түзету

Әр нәтижеге енгізілетін өзгеріс беріледі. Тегін тексеру ұпайыңызды және бірінші нәтижені көрсетеді; толық есеп — $29, бір реттік төлем.

Қысқа жауап

Perplexity тек PerplexityBot краулеріне алуға рұқсат етілген және ол шын мәнінде алатын беттерді ғана көрсетіп, оларға сілтеме бере алады. Әдеттегі себептер: PerplexityBot краулеріне тыйым салатын robots.txt ережесі, оған 403 немесе тексеру бетімен жауап беретін файрвол не CDN және тек JavaScript іске қосылғаннан кейін пайда болатын мәтін. Үшеуін де тексеріп, содан кейін Perplexity жариялаған IP ауқымдарын рұқсат тізіміне қосыңыз. Perplexity сізді емес, бәсекелесті дереккөз етсе, алдымен осы бұғаттауларды жоққа шығарыңыз, содан кейін бетіңізді Perplexity сол сұрақ бойынша сілтеме берген бетпен салыстырыңыз.

Бұғатты табу: 3 қадам

  1. robots.txt тексеріңіз

    PerplexityBot аталған топты іздеңіз. Ол болмаса, User-agent: * тобы қолданылады, ал аталған топ * тобын толығымен ауыстырады.

  2. Браузер мен краулерді салыстырыңыз

    Бетті браузер ретінде және Perplexity-дің әр агенті ретінде сұраңыз. Тек агенттерге берілетін 403, 429 немесе 503, Just a moment... беті не әлдеқайда кіші 200 файрволды көрсетеді.

  3. Бет көзін қараңыз

    Бетті curl арқылы жүктеп, негізгі мазмұныңыздағы бір сөйлемді іздеңіз. Ол жоқ болса, мәтінді скрипттер қосады: оны серверде рендерлеңіз.

Жиі қойылатын сұрақтар

Неге Perplexity мені емес, бәсекелесімді ұсынады?

Perplexity дереккөздерді қалай таңдайтынын жарияламайды, бірақ ол тек агенттері оқи алатын беттерге ғана сілтеме бере алады. Алдымен PerplexityBot пен Perplexity-User бетіңізді алатынын растаңыз. Алса, Perplexity сол сұрақ бойынша сілтеме берген бетті ашып, салыстырыңыз: сіздің бетіңіз дәл сол сұраққа басына жақын жерде, фактілерді мәтінмен көрсетіп жауап бере ме? AISeeWhy-дің ЖИ-дегі көрінім тексеруі сатып алушыларыңыздың сұрақтарын Perplexity-де және тағы үш ассистентте қойып, сізбен қатар қай бәсекелестер аталатынын көрсетеді.

Perplexity модельдерін менің мазмұнымда оқыта ма?

Perplexity PerplexityBot ЖИ базалық модельдері үшін мазмұн жинауға пайдаланылмайтынын және Perplexity-User оқыту үшін мазмұн жинамайтынын айтады. Сондықтан PerplexityBot краулеріне тыйым салу оқытудан бас тарту болмайды; ол тек Perplexity іздеу нәтижелеріндегі көрінуіңізді азайтады.

robots.txt түзеткеннен кейін Perplexity оны қашан байқайды?

Perplexity жүйелеріне robots.txt өзгерістерін көрсету үшін 24 сағатқа дейін қажет болуы мүмкін дейді. Файрвол өзгерістері провайдер оларды қолданған кезде күшіне енеді, бірақ нәтижені бағаламас бұрын краулерге қайта келуге уақыт беріңіз.

Perplexity-User-ді robots.txt арқылы бұғаттауға бола ма?

Сенімді түрде емес. Perplexity бұл агент әдетте robots.txt-ті елемейді дейді, себебі сұрауды пайдаланушы жасаған. Оны тоқтату керек болса, жарияланған IP ауқымдарына сәйкестендірілген файрвол ережесі — сенімді құрал.

Perplexity трафигін анықтау үшін user agent тексеру жеткілікті ме?

Жоқ. User agent-ті көшіру оңай. Бастапқы IP-ді Perplexity perplexitybot.json және perplexity-user.json файлдарында жариялайтын ауқымдармен салыстырыңыз және файрвол ережелерінде user agent-ті де, IP-ді де тексеріңіз.

Толық нұсқаулықты оқу

Perplexity-ден өніміңіз туралы сұрайсыз, ал ол бәсекелесіңізге, шолу сайтына немесе форумдағы талқылауға сілтеме береді, бірақ өз беттеріңізге ешқашан бермейді. Кейде мұның себебі — релеванттылық. Көбіне бұл бірнеше минутта табуға болатын техникалық бұғаттау. Perplexity қандай агенттерді пайдаланатынын, әрқайсысы не істейтінін және трафигі қайдан келетінін құжаттайды, сондықтан тізбектің әр буынын тексеруге болады: robots.txt, серверіңіз жіберетін жауап және жауаптың ішіндегі мазмұн.

Perplexity беттерді қалай табады және оқиды?

Perplexity екі агентті құжаттайды. Олардың міндеттері әртүрлі, және кез келгенінде мәселе болса, бетіңіз жауапқа кірмей қалуы мүмкін.

  • PerplexityBot Perplexity іздеу нәтижелерінде сайттарды көрсетуге және оларға сілтеме беруге арналған. Perplexity онда көрінгіңіз келсе, оны robots.txt-те өткізуді ұсынады және ол ЖИ базалық модельдері үшін мазмұн жинауға пайдаланылмайды дейді.
  • Perplexity-User пайдаланушы әрекеттеріне қызмет етеді. Біреу сұрақ қойғанда, ол жауап беруге көмектесу үшін бетке кіріп, сол бетке сілтеме бере алады. Perplexity оның веб-краулинг немесе оқыту деректерін жинау үшін пайдаланылмайтынын айтады.

Іс жүзінде PerplexityBot ешкім сұрамай тұрып Perplexity беттеріңіз туралы біле ме, соны анықтайды, ал Perplexity-User сұрақ қажет еткенде бетті тікелей аша ала ма, соны анықтайды. Сізге сілтеме берілуін қаласаңыз, екеуі де браузер алатын бетті алуы керек.

robots.txt файлыңыз PerplexityBot-ты бұғаттап тұр ма?

https://yourdomain.com/robots.txt ашып, PerplexityBot аталған топты іздеңіз. Ондай топ болмаса, краулер User-agent: * тобын орындайды. RFC 9309 бойынша сәйкестендіру регистрге тәуелсіз, ал аталған топ * тобына қосылмайды, оны толығымен алмастырады.

Мұндай бұғаттау жиі кездеседі. Ең танымал 1,000 доменнің robots.txt файлдарын зерттегенімізде robots.txt берген 518 сайттың 86-сы (16.6%) басты бетті PerplexityBot үшін жапқан. Бұл біз тексерген ЖИ іздеу краулерлерінің ішіндегі ең жоғары үлес болды; OAI-SearchBot 58 сайтта (11.2%) бұғатталған. Бұл сайттардың кейбірі ЖИ оқытуын тоқтатқысы келген болуы мүмкін, бірақ Perplexity PerplexityBot оқыту краулері емес дейді, сондықтан оны бұғаттау сол мақсатқа жеткізбей, іздеудегі көрінуді ғана азайтады.

Perplexity-ді өткізіп, жеке бөлімді жабық ұстайтын баптау мынадай болады:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Файлдың өзі дұрыс жауап беретінін де тексеріңіз. robots.txt сервер қатесін қайтарса, RFC 9309 бойынша краулер бүкіл сайтқа тыйым салынған деп санауы керек. 200 статусымен HTML бетін қайтаратын robots.txt мекенжайында жарамды ережелер болмайды. Perplexity өзгерістердің күшіне енуі 24 сағатқа дейін созылуы мүмкін дейді.

Файрвол немесе CDN Perplexity-ді бұғаттап тұр ма?

robots.txt — қолжетімділікті басқару емес, өтініш қана. Шын мәнінде не жіберілетінін файрвол, CDN немесе бот қорғанысы шешеді: ол Perplexity-ге 403, 429 немесе тексеру бетімен жауап беруі мүмкін, ал өз браузеріңізден кіргенде бәрі қалыпты көрінеді. Perplexity құжаттамасында веб-қолданба файрволының артындағы сайттар оның боттарын анық рұқсат етуі қажет болуы мүмкін делінген.

Тексеру үшін бір URL-ды браузер ретінде және Perplexity-дің әр агенті ретінде сұрап, статус пен көлемді салыстырыңыз:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Тек Perplexity агенттеріне берілетін 403, 429 немесе 503, Just a moment... деп аталған бет немесе браузер алатыннан әлдеқайда кіші 200 жауабы — бәрі файрволды көрсетеді. Бұл тест Perplexity-дің емес, сіздің IP мекенжайыңыздан жіберіледі, сондықтан ол ережелеріңіздің user agent-ке қалай қарайтынын көрсетеді; IP-ге негізделген ережелер нақты краулерге басқаша әрекет етуі мүмкін.

Cloudflare пайдалансаңыз, екі нәрсені ескеріңіз. Perplexity құжаттамасы Cloudflare-дің Bot Fight Mode функциясын WAF custom rules арқылы айналып өту мүмкін емес деген мәлімдемесін қайталайды, сондықтан бұл функция Perplexity-ге тексеру көрсетсе, рұқсат ережесі көмектеспейді. Сондай-ақ 2025 жылдың тамызында Cloudflare өзі жарияланбаған краулинг деп сипаттаған әрекетті байқағаннан кейін Perplexity-ді verified bots тізімінен алып тастағанын мәлімдеді; Perplexity бұл сипаттамамен келіспеді. Сондықтан тек verified bots-ты өткізетін ережелер Perplexity-ді қамтымауы мүмкін. Болжап қоймай, ағымдағы күйді басқару панелінен тексеріңіз.

Perplexity-ді жарияланған IP ауқымдары бойынша қалай өткізуге болады?

Кез келген адам өзін PerplexityBot деп атайтын сұрау жібере алады, сондықтан тек user agent бойынша сәйкестенетін рұқсат ережесі еліктеушілерді де өткізеді. Perplexity екі агенттің мекенжай ауқымдарын жариялайды және user agent пен IP мекенжайын бірге тексеруді ұсынады:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity бұл тізімдер үнемі жаңартылатынын айтады және WAF ережелерін жаңартуды автоматтандыруды ұсынады. Рұқсат ережесін сұрауларды бұғаттайтын немесе тексеретін кез келген ережеден жоғары қойыңыз: Cloudflare-де custom rules тізімінің басына, AWS WAF-та кішірек priority нөмірімен. Содан кейін журналдарды бақылаңыз, себебі файрвол өзгерістерінің таралуына уақыт керек.

JavaScript рендерингі Perplexity-ге бетті оқуға кедергі бола ма?

Бола алады. Perplexity краулер құжаттамасында оның агенттері JavaScript орындайтыны айтылмаған, сондықтан краулерге қажет мәтін сервер жіберетін HTML-де болуы керек деп есептеген қауіпсіз. Толығымен браузерде құрылатын беттер, мысалы серверлік рендерингсіз бір беттік қолданбалар, жүктелу белгішесі бар бос қабық ретінде келуі мүмкін.

Тез тексеру үшін бетті curl арқылы алып, нәтижеден негізгі мазмұныңыздағы бір сөйлемді іздеңіз. Ол болмаса, мәтінді скрипттер қосады. Серверлік рендеринг, статикалық генерация немесе краулерлер үшін алдын ала рендерлеу мұны тек Perplexity үшін емес, барлық ЖИ краулерлері үшін бірден түзетеді.

Бәрі ашық болса да, сайтым көрінбесе ше?

Оқылатын болу — кепілдік емес, алғышарт қана. Perplexity қай дереккөздерге сілтеме беретінін қалай таңдайтынын жарияламайды, сондықтан барлық агент оқи алатын бет сұраққа тікелей жауап беретін беттерден ұтылуы мүмкін. Сіз бақылай алатыны — жолда ешқандай техникалық кедергі болмауы: анық бет тақырыбы, мәтіннің басында берілген жауап және басқа жерде айтқаныңызға сәйкес келетін нақты фактілер.

robots.txt нені қамтымайтынын да есте сақтаңыз. Perplexity Perplexity-User әдетте robots.txt-ті елемейді дейді, себебі сұрауды пайдаланушы жасаған. Сондықтан Perplexity-User үшін ереже тікелей кірулерді бұғаттаудың сенімді жолы емес, ал оны рұқсат ететін robots.txt оның файрволдан өтетінінің дәлелі емес.

AISeeWhy бетіңізді браузермен қатар PerplexityBot, Perplexity-User және тағы 12 краулер ретінде сұрайды, әрқайсысына robots.txt ережелеріңізді қолданады, тексеру беттерін таниды және мәтіннің қанша бөлігі JavaScript-сіз келетінін көрсетеді, сондықтан тізбектің қай буыны істен шыққанын көре аласыз.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Дереккөздер

Басқа мақалалар

Жарияланды · Жаңартылды