Nega saytim Perplexityʼda koʻrinmayapti?

PerplexityBot sahifangizga kira olishini va qaysi blok (robots.txt, firewall yoki JavaScript) sizni uning javoblaridan chetda qoldirayotganini taxminan 30 soniyada bilib oling.

Bepul · Roʻyxatdan oʻtmasdan · Natija 30 soniyada

PerplexityBot uchun robots.txt

PerplexityBotga tegishli guruh RFC 9309 qoidalari boʻyicha oʻqiladi va hal qiluvchi qator koʻrsatiladi.

Firewall va CDN bloklari

Faqat kraulerlarga beriladigan 403, 429 yoki challenge sahifasi belgilanadi, javob bergan firewall nomi koʻrsatiladi.

Sahifa nima qaytaradi

Kraulerga beriladigan status, hajm va yoʻnaltirishlar oddiy brauzernikiga solishtiriladi, shuning uchun kraulerlarga qisqaroq javob berilishi darhol koʻrinadi.

Har bir topilma uchun yechim

Har bir topilma bilan qilinadigan oʻzgarish ham beriladi. Bepul tekshiruv balingizni va birinchi topilmani koʻrsatadi; toʻliq hisobot — $29, bir martalik.

Qisqa javob

Perplexity faqat PerplexityBot kraul qilishiga ruxsat berilgan va amalda oladigan sahifalarni koʻrsata va ularga havola bera oladi. Odatiy sabablar: PerplexityBotni taqiqlaydigan robots.txt qoidasi, unga 403 yoki challenge sahifasi bilan javob beradigan firewall yoki CDN va faqat JavaScript ishga tushgandan keyin paydo boʻladigan matn. Uchalasini ham tekshiring, soʻng Perplexity eʼlon qilgan IP diapazonlariga ruxsat bering. Agar Perplexity sizni emas, raqobatchini keltirsa, avval shu bloklarni istisno qiling, soʻng sahifangizni u xuddi shu savol uchun keltirgan sahifa bilan solishtiring.

Blokni 3 qadamda toping

  1. robots.txt ni tekshiring

    PerplexityBotni nomi bilan koʻrsatgan guruhni qidiring. U boʻlmasa, User-agent: * guruhi amal qiladi, nomi koʻrsatilgan guruh esa * ni toʻliq almashtiradi.

  2. Brauzer va kraulerni solishtiring

    Sahifani brauzer sifatida va Perplexityʼning har bir agenti nomidan soʻrang. Faqat agentlarga berilgan 403, 429 yoki 503, Just a moment... sahifasi yoki ancha kichik 200 firewallga ishora qiladi.

  3. Sahifa manbasiga qarang

    Sahifani curl bilan yuklab, asosiy kontentingizdagi biror jumlani qidiring. U boʻlmasa, matnni skriptlar qoʻshyapti: uni serverda render qiling.

Koʻp beriladigan savollar

Nega Perplexity meni emas, raqobatchimni tavsiya qiladi?

Perplexity manbalarni qanday tanlashini eʼlon qilmaydi, lekin u faqat agentlari oʻqiy oladigan sahifalarni keltira oladi. Avval PerplexityBot va Perplexity-User sahifangizni olishini tasdiqlang. Agar olsa, Perplexity xuddi shu savol uchun keltirgan sahifani oching va solishtiring: sizning sahifangiz aynan shu savolga boshidayoq, faktlarni matnda aytib javob beradimi? AISeeWhyʼning AIʼdagi koʻrinish tekshiruvi xaridorlaringiz savollarini Perplexity va yana uchta assistentga beradi va siz bilan yonma-yon qaysi raqobatchilar nomlanganini koʻrsatadi.

Perplexity modellarini mening kontentimda oʻqitadimi?

Perplexity PerplexityBot AI bazaviy modellari uchun kontent kraul qilishda ishlatilmasligini va Perplexity-User oʻqitish uchun kontent toʻplamasligini aytadi. Shuning uchun PerplexityBotni taqiqlash oʻqitishdan voz kechish vazifasini bajarmaydi; u faqat Perplexity qidiruv natijalaridagi koʻrinishingizni kamaytiradi.

robots.txt ni tuzatganimdan keyin Perplexity buni qancha vaqtda sezadi?

Perplexity tizimlari robots.txt oʻzgarishlarini aks ettirishi uchun 24 soatgacha vaqt ketishi mumkinligini aytadi. Firewall oʻzgarishlari provayderingiz ularni qoʻllagan paytda kuchga kiradi, lekin natijaga baho berishdan oldin kraulerga qaytib kelish uchun vaqt bering.

Perplexity-Userʼni robots.txt bilan bloklay olamanmi?

Ishonchli tarzda emas. Perplexity bu fetcher odatda robots.txt ga amal qilmasligini aytadi, chunki yuklashni foydalanuvchi soʻragan. Agar uni toʻxtatish kerak boʻlsa, eʼlon qilingan IP diapazonlariga moslangan firewall qoidasi ishonchli vosita hisoblanadi.

Perplexity trafigini aniqlash uchun user agentni tekshirish yetarlimi?

Yoʻq. User agentlarni nusxalash oson. Manba IP manzilini Perplexity perplexitybot.json va perplexity-user.json da eʼlon qilgan diapazonlar bilan solishtiring va firewall qoidalarida ham user agentni, ham IPʼni tekshiring.

Toʻliq qoʻllanmani oʻqing

Siz Perplexityʼdan mahsulotingiz haqida soʻraysiz, u esa raqobatchiga, sharhlar saytiga yoki forumdagi mavzuga iqtibos keltiradi, lekin hech qachon oʻz sahifalaringizga emas. Baʼzan bu dolzarblik masalasi. Koʻpincha esa bu bir necha daqiqada topish mumkin boʻlgan texnik bloklash. Perplexity qaysi agentlardan foydalanishini, ularning har biri nima qilishini va trafigi qayerdan kelishini hujjatlashtirgan, shuning uchun zanjirning har bir halqasini tekshirish mumkin: robots.txt, serveringiz yuboradigan javob va javobda nima borligi.

Perplexity sahifalarni qanday topadi va oʻqiydi?

Perplexity ikkita agentni hujjatlashtirgan. Ularning vazifalari har xil va ulardan istalgan birida muammo boʻlsa, sahifangiz javobga kirmay qolishi mumkin.

  • PerplexityBot veb-saytlarni Perplexity qidiruv natijalarida koʻrsatish va ularga havola berish uchun moʻljallangan. Perplexity u yerda chiqishni istasangiz, unga robots.txt da ruxsat berishni tavsiya qiladi va u AI bazaviy modellari uchun kontent kraul qilishda ishlatilmasligini aytadi.
  • Perplexity-User foydalanuvchi harakatlarini qoʻllab-quvvatlaydi. Kimdir savol berganda, u javob berishga yordam berish uchun sahifaga kirib, unga havola berishi mumkin. Perplexity uning veb-kraulingda yoki oʻqitish uchun maʼlumot toʻplashda ishlatilmasligini aytadi.

Amalda PerplexityBot hali hech kim soʻramasdan oldin Perplexity sahifalaringiz haqida biladimi-yoʻqmi, shuni hal qiladi, Perplexity-User esa savol talab qilganda sahifani jonli ochib bera oladimi-yoʻqmi, shuni hal qiladi. Agar iqtibos keltirilishini istasangiz, ikkalasi ham brauzer oladigan sahifaning aynan oʻzini olishi kerak.

robots.txt PerplexityBotʼni bloklayaptimi?

https://yourdomain.com/robots.txt ni oching va PerplexityBot nomi yozilgan guruhni qidiring. Agar bunday guruh boʻlmasa, krauler User-agent: * guruhiga amal qiladi. RFC 9309 boʻyicha moslik katta-kichik harflarga bogʻliq emas va nomlangan guruh * guruhiga qoʻshilmaydi, balki uni butunlay almashtiradi.

Bu bloklash keng tarqalgan. Eng mashhur 1 000 ta domenning robots.txt fayllarini oʻrganganimizda, robots.txt bergan 518 ta saytdan 86 tasi (16,6%) bosh sahifani PerplexityBot uchun taqiqlagan. Bu biz tekshirgan AI qidiruv kraulerlari orasidagi eng yuqori ulush edi; OAI-SearchBot 58 ta saytda (11,2%) bloklangan. Bu saytlarning baʼzilari AI oʻqitishni toʻxtatmoqchi boʻlgan boʻlishi mumkin, lekin Perplexity PerplexityBot oʻqitish krauleri emasligini aytadi, shuning uchun uni bloklash bu maqsadga xizmat qilmasdan qidiruvdagi koʻrinishni yoʻqotadi.

Perplexityʼni kiritadigan va yopiq boʻlimni yopiq saqlaydigan sozlama quyidagicha koʻrinadi:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Faylning oʻzi toʻgʻri javob berishini ham tekshiring. Agar robots.txt server xatosini qaytarsa, RFC 9309 boʻyicha krauler butun sayt taqiqlangan deb hisoblashi kerak. 200 statusi bilan HTML sahifa qaytaradigan robots.txt manzilida haqiqiy qoidalar yoʻq. Perplexity oʻzgarishlar 24 soatgacha kuchga kirishini aytadi.

Firewall yoki CDN Perplexityʼni bloklayaptimi?

robots.txt — bu iltimos, kirishni boshqarish emas. Amalda nima qaytarilishini firewall, CDN yoki botlardan himoya hal qiladi va u Perplexityʼga 403, 429 yoki challenge sahifasi bilan javob berishi mumkin, oʻz brauzeringizdagi tashriflar esa odatdagidek koʻrinadi. Perplexity hujjatlarida veb-ilova firewalli ortidagi saytlar uning botlariga aniq ruxsat berishi kerak boʻlishi mumkinligi aytilgan.

Buni tekshirish uchun bir xil URLʼni brauzer sifatida va har bir Perplexity agenti sifatida soʻrang, soʻng status va hajmni solishtiring:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Faqat Perplexity agentlari uchun 403, 429 yoki 503, Just a moment... sarlavhali sahifa yoki brauzernikidan ancha kichik 200 javobi — bularning barchasi firewallga ishora qiladi. Bu test Perplexityʼning emas, sizning IP manzilingizdan yuboriladi, shuning uchun u qoidalaringiz user agentga qanday munosabatda boʻlishini koʻrsatadi; IP asosidagi qoidalar haqiqiy kraulerga boshqacha ishlashi mumkin.

Cloudflareʼdan foydalansangiz, ikki narsaga eʼtibor bering. Perplexity hujjatlari Cloudflareʼning oʻz bayonotini takrorlaydi: Bot Fight Modeʼni WAF custom ruleʼlar bilan chetlab oʻtib boʻlmaydi, shuning uchun bu funksiya Perplexityʼga challenge koʻrsatsa, ruxsat qoidasi yordam bermaydi. Bundan tashqari, 2025-yil avgustida Cloudflare eʼlon qilinmagan kraulingni kuzatganini aytib, Perplexityʼni tasdiqlangan botlar roʻyxatidan olib tashlaganini maʼlum qildi; Perplexity bu talqinga eʼtiroz bildirdi. Shuning uchun faqat tasdiqlangan botlarni oʻtkazadigan qoidalar Perplexityʼni qamramasligi mumkin. Taxmin qilish oʻrniga joriy holatni dashboardʼingizda tekshiring.

Perplexityʼga eʼlon qilingan IP diapazonlari boʻyicha qanday ruxsat beraman?

Har kim oʻzini PerplexityBot deb koʻrsatadigan soʻrov yuborishi mumkin, shuning uchun faqat user agent boʻyicha ishlaydigan ruxsat qoidasi taqlidchilarni ham kiritadi. Perplexity ikkala agentning manzil diapazonlarini eʼlon qiladi va user agent bilan IP manzilni birgalikda tekshirishni tavsiya qiladi:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity bu roʻyxatlar muntazam yangilanib turishini aytadi va WAF qoidalaringizni yangilashni avtomatlashtirishni taklif qiladi. Ruxsat qoidasini soʻrovlarni bloklaydigan yoki challenge koʻrsatadigan har qanday qoidadan yuqoriga qoʻying: Cloudflareʼda custom ruleʼlar orasida birinchi, AWS WAFʼda esa kichikroq priority raqami bilan. Keyin loglaringizni kuzating, chunki firewall oʻzgarishlari tarqalishi uchun vaqt kerak boʻlishi mumkin.

JavaScript rendering Perplexityʼga sahifani oʻqishga xalaqit berishi mumkinmi?

Mumkin. Perplexity kraulerlari hujjatlarida uning agentlari JavaScriptʼni bajarishi yoki bajarmasligi aytilmagan, shuning uchun xavfsiz taxmin shuki, krauler uchun kerakli matn server yuboradigan HTMLʼda boʻlishi kerak. Butunlay brauzerda quriladigan sahifalar, masalan server renderingisiz single-page ilovalar, yuklanish spinneri bor boʻsh qobiq boʻlib kelishi mumkin.

Tez tekshirish usuli: sahifani curl bilan yuklang va natijadan asosiy kontentingizdagi biror gapni qidiring. Agar u yoʻq boʻlsa, matnni skriptlar qoʻshadi. Server tomonida rendering, statik generatsiya yoki kraulerlar uchun prerendering buni faqat Perplexity uchun emas, barcha AI kraulerlari uchun birdaniga tuzatadi.

Hammasi ochiq boʻlsa-yu, saytim baribir chiqmasa-chi?

Oʻqiladigan boʻlish — shart, lekin kafolat emas. Perplexity qaysi manbalarga iqtibos keltirishni qanday tanlashini eʼlon qilmaydi, shuning uchun har bir agent oʻqiy oladigan sahifa ham savolga toʻgʻridan-toʻgʻri javob beradigan sahifalardan yutqazishi mumkin. Siz nazorat qila oladigan narsa — hech qanday texnik toʻsiq yoʻqligi: aniq sahifa sarlavhasi, matn boshida berilgan javob va boshqa joylarda aytganlaringizga mos keladigan aniq faktlar.

robots.txt nimani qamramasligini ham yodda tuting. Perplexity Perplexity-User odatda robots.txt ga amal qilmasligini aytadi, chunki yuklashni foydalanuvchi soʻragan. Shuning uchun Perplexity-User uchun qoida jonli tashriflarni bloklashning ishonchli usuli emas, unga ruxsat beradigan robots.txt esa u firewallingizdan oʻtishining isboti emas.

AISeeWhy sahifangizni brauzer bilan yonma-yon PerplexityBot, Perplexity-User va yana 12 ta krauler sifatida soʻraydi, har biri uchun robots.txt qoidalaringizni qoʻllaydi, challenge sahifalarini aniqlaydi va matnning qancha qismi JavaScriptsiz kelishini koʻrsatadi, shunda zanjirning qaysi halqasi ishlamayotganini koʻrasiz.

Bepul asboblar

Keyingi qadamlar

Ushbu maqoladagi kraulerlar

Manbalar

Boshqa maqolalar

Eʼlon qilingan · Yangilangan