Perplexity kraulerlari: PerplexityBot va Perplexity-User
Perplexity qidiruv natijalarida veb-saytlarni koʻrsatish va ularga havola berish uchun PerplexityBotdan, foydalanuvchi savoli talab qilganda sahifalarga kirish uchun esa Perplexity-Userdan foydalanadi. Perplexity aytishicha, PerplexityBot robots.txt ga amal qiladi va bazaviy modellarni oʻqitishda ishlatilmaydi, Perplexity-User esa yuklashni foydalanuvchi soʻragani uchun odatda robots.txt ga amal qilmaydi. Perplexity qidiruvi sahifalaringizdan foydalanmasligi uchun robots.txt da PerplexityBotni taqiqlang; Perplexity-Userni toʻxtatish uchun uning eʼlon qilingan IP diapazonlariga moslangan firewall qoidasidan foydalaning.
Perplexity iqtiboslar atrofida qurilgan: javoblar ular tayangan sahifalarga raqamlangan havolalar bilan keladi. Uning kraulerlar hujjatlari qisqa va qaysi agent robots.txt ga amal qilishi, qaysi biri amal qilmasligini aniq aytadi. Agar ularning istalgan birini boshqarmoqchi boʻlsangiz, qaysi vositadan foydalanishingizni aynan shu farq hal qiladi.
Ushbu sahifada
PerplexityBot nima qiladi?
PerplexityBot veb-saytlarni Perplexity qidiruv natijalarida koʻrsatish va ularga havola berish uchun moʻljallangan. Perplexity u AI bazaviy modellari uchun kontent kraul qilishda ishlatilmasligini aytadi. Perplexity qidiruv natijalarida chiqish uchun Perplexity robots.txt da PerplexityBotga ruxsat berishni tavsiya qiladi.
Perplexity quyidagi user agentni hujjatlashtirgan:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Versiya raqami oʻzgarishi mumkin, shuning uchun firewall qoidalari PerplexityBot tokenini tekshirishi kerak. Perplexity IP diapazonlarini perplexity.ai/perplexitybot.json da eʼlon qiladi.
Perplexity-User nima qiladi?
Perplexity-User foydalanuvchi harakatlarini qoʻllab-quvvatlaydi. Kimdir Perplexityʼga savol berganda, u aniq javob berishga yordam berish uchun veb-sahifaga kirishi va unga havolani qoʻshishi mumkin. Perplexity u vebni kraul qilish yoki oʻqitish maʼlumotlarini toʻplash uchun ishlatilmasligini aytadi.
Uning hujjatlashtirilgan user agenti Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), IP diapazonlari esa perplexity.ai/perplexity-user.json da eʼlon qilingan.
robots.txt nimani boshqaradi va nimani boshqarmaydi?
Asosiy nuqta shu. Perplexity aytishicha, yuklashni foydalanuvchi soʻragani uchun Perplexity-User odatda robots.txt qoidalariga amal qilmaydi. PerplexityBot uchun robots.txt guruhi qidiruv uchun indekslashga taʼsir qiladi; u foydalanuvchi nomidan jonli yuklashlarni ishonchli toʻxtatmaydi.
- robots.txt da
PerplexityBotni taqiqlash: sahifalaringiz Perplexity qidiruv indeksi uchun kraul qilinmaydi, shuning uchun ular koʻrsatilishi va ularga havola berilishi ehtimoli kamayadi. - robots.txt da
Perplexity-Userni taqiqlash: Perplexity hujjatlariga koʻra, bu agent odatda bunga amal qilmaydi, shuning uchun bu ishonchli vosita emas. Perplexity-Userni firewallda bloklash: yuklash muvaffaqiyatsiz tugaydi va sahifangiz haqida soʻragan foydalanuvchilar usiz javob oladi.- Ikkalasiga ruxsat berish: Perplexity sahifalaringizni indekslashi va foydalanuvchi soʻraganda ularni jonli oʻqishi mumkin.
Perplexity har bir robots.txt sozlamasi mustaqil ishlashini va oʻzgarishlar aks etishi 24 soatgacha vaqt olishi mumkinligini aytadi.
Perplexity ChatGPT va Claudeʼdan nimasi bilan farq qiladi?
Uchala ishlab chiquvchi ham qidiruv kraulerini foydalanuvchi soʻragan yuklashlarni bajaruvchi agentdan ajratadi. Ikki tafsilot Perplexityʼni boshqalardan ajratib turadi. Birinchidan, u alohida oʻqitish kraulerini ishlatmaydi: u PerplexityBot AI bazaviy modellari uchun kontent kraul qilishda ishlatilmasligini aytadi, shuning uchun tanlov qilinadigan oʻqitish tokeni yoʻq. Ikkinchidan, u foydalanuvchi agenti odatda robots.txt ga amal qilmasligini ochiq aytadi, OpenAI esa ChatGPT-Userga robots.txt qoʻllanmasligi mumkinligini, Anthropic esa uning botlari, jumladan Claude-User, robots.txt ga amal qilishini aytadi.
Amalda bu robots.txt da Perplexity qidiruv krauleri uchun bitta qaror va agar foydalanuvchi soʻragan yuklashlarni toʻxtatmoqchi boʻlsangiz, firewall boʻyicha qaror degani.
Perplexity uchun qanday robots.txt ishlatishim kerak?
Agar iqtibos keltirilishini istasangiz, qidiruv kraulerga aniq ruxsat bering. Nomlangan guruh * dan qoidalarni meros olmasligini unutmang, shuning uchun yopiq yoʻllarni takrorlang:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot oʻqitish krauleri boʻlmagani uchun model oʻqitishdan voz kechish maqsadida uni bloklash bu maqsadga xizmat qilmasdan qidiruvdagi koʻrinishingizni yoʻqotadi.
Agar robots.txt da sitemapʼni koʻrsatsangiz, Sitemap: qatorini har qanday guruhdan tashqarida yoki fayl oxirida saqlang; u barcha kraulerlarga taalluqli. Sitemapʼning oʻzi firewallingiz tomonidan bloklanmaganiga ham ishonch hosil qiling, chunki uni yuklay olmaydigan krauler undan yangi yoki oʻzgargan sahifalarni topish uchun foydalana olmaydi.
Firewall Perplexityʼni bloklamasligiga qanday ishonch hosil qilaman?
Botlardan himoya koʻpincha brauzerdan boʻlmagan har qanday soʻrovni shubhali deb hisoblaydi. Sahifangizni har bir Perplexity user agenti bilan soʻrang va javobni brauzer soʻrovi bilan solishtiring. Agar krauler 403, 429 yoki challenge sahifasini olsa, tokenni va ideal holda eʼlon qilingan IP diapazonlarini tekshiradigan ruxsat qoidasini qoʻshing, shunda faqat haqiqiy Perplexity trafigi oʻtadi. Cloudflareʼda AI Crawl Control AI kraulerlarini har biri uchun Allow yoki Block amali bilan roʻyxatlaydi.
User agentga ishonmang, tasdiqlang. Har kim PerplexityBot deb yozilgan soʻrov yuborishi mumkin, shuning uchun faqat user agentga asoslangan ruxsat qoidasi taqlidchilarni ham kiritadi, unga asoslangan bloklashni esa chetlab oʻtish mumkin. Manba IP manzilini Perplexity eʼlon qilgan roʻyxatlar bilan tekshirish ikkala turdagi qoidani ham ishonchli qiladi.
AISeeWhy PerplexityBot va Perplexity-Userni yana 12 ta krauler bilan birga sinaydi. Ikkalasi ham Perplexity sahifangizdan javobda foydalana olishini hal qilgani uchun ularning istalgan birining bloklanishi P1 deb, uni tuzatish qoidasi bilan birga koʻrsatiladi.
Keyingi qadamlar
- AI kraulerlari uchun robots.txt tester va tekshiruvi
- AI kraulerlari IP tekshiruvi
- Toʻliq hisobot namunasini koʻring
- AI kraulerlari monitoringi
- Tariflar va narxlar
Ushbu maqoladagi kraulerlar
Koʻp beriladigan savollar
Perplexity kontentimdan AI modellarini oʻqitishda foydalanadimi?
Perplexity PerplexityBot ham, Perplexity-User ham AI bazaviy modellarini oʻqitish uchun kontent toʻplashda ishlatilmasligini aytadi.
Nega Perplexity-User robots.txt ga amal qilmaydi?
Perplexityʼning mantiqi shunday: sahifani foydalanuvchi soʻragan, shuning uchun yuklash avtomatik kraul sifatida emas, oʻsha foydalanuvchi nomidan amalga oshiriladi. Uning hujjatlarida aytilishicha, shu sababli bu agent odatda robots.txt ga amal qilmaydi.
Kerak boʻlsa, Perplexity-Userʼni qanday bloklayman?
User agent tokeni va Perplexity eʼlon qilgan IP diapazonlarini tekshiradigan firewall yoki CDNʼdan foydalaning. Bu agent uchun robots.txt ishonchli vosita emas.
robots.txt oʻzgarishi kuchga kirishi qancha vaqt oladi?
Perplexity uning tizimlari oʻzgarishlarni aks ettirishi uchun 24 soatgacha vaqt ketishi mumkinligini aytadi.
PerplexityBotʼni bloklash Perplexityʼning kontentimdan umuman foydalanishini toʻxtatadimi?
Yoʻq. U sahifalaringizni Perplexity qidiruv indeksi uchun kraul qilinishidan chetda saqlaydi, lekin Perplexity-User foydalanuvchi soʻraganda sahifani baribir yuklashi mumkin, chunki bu agent odatda robots.txt ga amal qilmaydi.
Manbalar
- Perplexity: Perplexity kraulerlari
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI kraulerlarini boshqarish (AI Crawl Control)