AISeeWhy
TR
Ücretsiz denemeyi başlat

Perplexity'nin crawler'ları: PerplexityBot ve Perplexity-User

Yayınlanma

Kısa cevap

Perplexity, web sitelerini arama sonuçlarında göstermek ve bağlantı vermek için PerplexityBot'u, bir kullanıcının sorusu gerektirdiğinde sayfaları ziyaret etmek için Perplexity-User'ı kullanır. Perplexity, PerplexityBot'un robots.txt'yi izlediğini ve temel modelleri eğitmek için kullanılmadığını, Perplexity-User'ın ise çekmeyi bir kullanıcı istediği için robots.txt'yi genellikle yok saydığını söylüyor.

Perplexity alıntılar üzerine kurulu: yanıtlar, yararlandığı sayfalara numaralı bağlantılarla gelir. Crawler belgeleri kısa ve hangi ajanın robots.txt'yi izlediğini, hangisinin izlemediğini açıkça söylüyor. Birini ya da diğerini denetlemek istiyorsanız hangi aracı kullanacağınızı bu fark belirler.

Bu sayfada
  1. PerplexityBot ne yapar?
  2. Perplexity-User ne yapar?
  3. robots.txt neyi denetler, neyi denetlemez?
  4. Perplexity, ChatGPT ve Claude'dan nasıl ayrılıyor?
  5. Perplexity için hangi robots.txt'yi kullanmalıyım?
  6. Güvenlik duvarının Perplexity'yi engellemediğinden nasıl emin olurum?

PerplexityBot ne yapar?

PerplexityBot, web sitelerini Perplexity'nin arama sonuçlarında göstermek ve bağlantı vermek için tasarlanmıştır. Perplexity, AI temel modelleri için içerik taramakta kullanılmadığını söylüyor. Perplexity'nin arama sonuçlarında görünmek için robots.txt'de PerplexityBot'a izin vermenizi öneriyor.

Perplexity şu user agent'ı belgeliyor:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Sürüm numarası değişebilir; bu yüzden güvenlik duvarı kuralları PerplexityBot token'ıyla eşleşmelidir. Perplexity IP aralıklarını perplexity.ai/perplexitybot.json adresinde yayımlıyor.

Perplexity-User ne yapar?

Perplexity-User kullanıcı eylemlerini destekler. Biri Perplexity'ye bir soru sorduğunda, doğru bir yanıt vermeye yardımcı olmak için bir web sayfasını ziyaret edebilir ve o sayfaya bağlantı ekleyebilir. Perplexity, web'i taramak ya da eğitim verisi toplamak için kullanılmadığını söylüyor.

Belgelenmiş user agent'ı Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) ve IP aralıkları perplexity.ai/perplexity-user.json adresinde yayımlanıyor.

robots.txt neyi denetler, neyi denetlemez?

Kilit nokta bu. Perplexity, çekmeyi bir kullanıcı istediği için Perplexity-User'ın robots.txt kurallarını genellikle yok saydığını belirtiyor. PerplexityBot için bir robots.txt grubu arama dizinlemesini etkiler; bir kullanıcı adına yapılan canlı çekmeleri güvenilir biçimde durdurmaz.

Perplexity, her robots.txt ayarının bağımsız çalıştığını ve değişikliklerin yansıması 24 saate kadar sürebileceğini söylüyor.

Perplexity, ChatGPT ve Claude'dan nasıl ayrılıyor?

Üç sağlayıcı da bir arama crawler'ını kullanıcı isteğiyle çalışan bir çekiciden ayırır. İki ayrıntı Perplexity'yi ayırıyor. Birincisi, ayrı bir eğitim crawler'ı çalıştırmaz: PerplexityBot'un AI temel modelleri için içerik taramakta kullanılmadığını söylüyor; dolayısıyla hakkında karar vereceğiniz bir eğitim token'ı yok. İkincisi, kullanıcı çekicisinin robots.txt'yi genellikle yok saydığını açıkça belirtiyor; OpenAI robots.txt'nin ChatGPT-User için geçerli olmayabileceğini, Anthropic ise Claude-User dahil botlarının robots.txt'ye uyduğunu söylüyor.

Pratikte bu, Perplexity'nin arama crawler'ı için robots.txt'de tek bir karar, kullanıcı isteğiyle yapılan çekmeleri durdurmak isterseniz de güvenlik duvarında bir karar demek.

Perplexity için hangi robots.txt'yi kullanmalıyım?

Alıntılanmak istiyorsanız arama crawler'ına açıkça izin verin. Adı geçen bir grubun * grubundan kural devralmadığını unutmayın; bu yüzden özel yolları yineleyin:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

PerplexityBot bir eğitim crawler'ı olmadığı için, model eğitiminden çıkmak amacıyla onu engellemek bu hedefe hizmet etmeden size arama görünürlüğüne mal olur.

robots.txt'de bir sitemap listeliyorsanız Sitemap: satırını herhangi bir grubun dışında ya da dosyanın sonunda tutun; tüm crawler'lar için geçerlidir. Sitemap'in kendisinin de güvenlik duvarınızca engellenmediğinden emin olun; çünkü onu çekemeyen bir crawler, yeni ya da değişen sayfaları bulmak için kullanamaz.

Güvenlik duvarının Perplexity'yi engellemediğinden nasıl emin olurum?

Bot koruması çoğu zaman tarayıcı dışı her isteği şüpheli sayar. Sayfanızı Perplexity'nin her user agent'ıyla isteyin ve yanıtı bir tarayıcı isteğiyle karşılaştırın. Crawler 403, 429 ya da doğrulama sayfası alıyorsa, token'la ve ideal olarak yayımlanan IP aralıklarıyla eşleşen bir izin kuralı ekleyin; böylece yalnızca gerçek Perplexity trafiği geçer. Cloudflare'de AI Crawl Control, AI crawler'larını her biri için Allow veya Block eylemiyle listeler.

User agent'a güvenmek yerine doğrulayın. Herkes PerplexityBot diyen bir istek gönderebilir; bu yüzden yalnızca user agent'a dayanan bir izin kuralı taklitçileri de içeri alır, ona dayanan bir engel de atlatılabilir. Kaynak IP'yi Perplexity'nin yayımladığı listelerle kontrol etmek her iki kural türünü de güvenilir kılar.

AISeeWhy PerplexityBot ve Perplexity-User'ı 12 başka crawler ile birlikte test eder. İkisi de Perplexity'nin sayfanızı bir yanıtta kullanıp kullanamayacağını belirlediğinden, herhangi birinin engellenmesi, düzelten kuralla birlikte P1 olarak raporlanır.

Sık sorulan sorular

Perplexity içeriğimi AI modellerini eğitmek için kullanıyor mu?

Perplexity, ne PerplexityBot'un ne de Perplexity-User'ın AI temel modellerini eğitmek için içerik toplamakta kullanılmadığını söylüyor.

Perplexity-User neden robots.txt'yi yok sayıyor?

Perplexity'nin gerekçesi, sayfayı bir kullanıcının istemesi; dolayısıyla çekmenin otomatik tarama değil, o kullanıcı adına yapılmasıdır. Belgelerine göre çekici bu nedenle robots.txt'yi genellikle yok sayar.

Gerekirse Perplexity-User'ı nasıl engellerim?

Güvenlik duvarınızı ya da CDN'inizi kullanın; user agent token'ıyla ve Perplexity'nin yayımladığı IP aralıklarıyla eşleştirin. robots.txt bu ajan için güvenilir bir denetim değildir.

Bir robots.txt değişikliğinin uygulanması ne kadar sürer?

Perplexity, sistemlerinin değişiklikleri yansıtmasının 24 saate kadar sürebileceğini söylüyor.

PerplexityBot'u engellemek Perplexity'nin içeriğimi hiç kullanmasını durdurur mu?

Hayır. Sayfalarınızı Perplexity'nin arama dizini için yapılan taramanın dışında tutar; ancak bir kullanıcı sorduğunda Perplexity-User yine de sayfayı çekebilir, çünkü bu çekici robots.txt'yi genellikle yok sayar.

Kaynaklar

Diğer makaleler