AISeeWhy
CS
Spustit zkušební verzi zdarma

Crawlery Perplexity: PerplexityBot a Perplexity-User

Publikováno

Stručná odpověď

Perplexity používá PerplexityBot k zobrazování a odkazování webů ve svých výsledcích vyhledávání a Perplexity-User k návštěvě stránek, když je potřebuje dotaz uživatele. Perplexity uvádí, že PerplexityBot dodržuje robots.txt a nepoužívá se k trénování základních modelů, zatímco Perplexity-User robots.txt obecně ignoruje, protože stažení vyžádal uživatel.

Perplexity je postavena na citacích: odpovědi přicházejí s číslovanými odkazy na stránky, ze kterých vycházejí. Dokumentace jejích crawlerů je stručná a jasně říká, který agent robots.txt dodržuje a který ne. Tento rozdíl rozhoduje o tom, jaký nástroj použijete, pokud chcete některého z nich řídit.

Na této stránce
  1. Co dělá PerplexityBot?
  2. Co dělá Perplexity-User?
  3. Co robots.txt řídí a co ne?
  4. Čím se Perplexity liší od ChatGPT a Claude?
  5. Jaký robots.txt použít pro Perplexity?
  6. Jak zajistím, aby firewall Perplexity neblokoval?

Co dělá PerplexityBot?

PerplexityBot je navržen tak, aby zobrazoval weby a odkazoval na ně ve výsledcích vyhledávání Perplexity. Perplexity uvádí, že se nepoužívá k procházení obsahu pro základní AI modely. Aby se web objevil ve výsledcích vyhledávání Perplexity, doporučuje Perplexity povolit PerplexityBot v robots.txt.

Perplexity dokumentuje tento user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Číslo verze se může měnit, proto by pravidla firewallu měla porovnávat token PerplexityBot. Rozsahy IP Perplexity zveřejňuje na perplexity.ai/perplexitybot.json.

Co dělá Perplexity-User?

Perplexity-User podporuje akce uživatelů. Když se někdo Perplexity na něco zeptá, může navštívit webovou stránku, aby pomohla dát přesnou odpověď, a přidat odkaz na tuto stránku. Perplexity uvádí, že se nepoužívá k procházení webu ani ke sběru trénovacích dat.

Jeho zdokumentovaný user agent je Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) a jeho rozsahy IP jsou zveřejněny na perplexity.ai/perplexity-user.json.

Co robots.txt řídí a co ne?

To je klíčový bod. Perplexity uvádí, že protože stažení vyžádal uživatel, Perplexity-User pravidla v robots.txt obecně ignoruje. Skupina v robots.txt pro PerplexityBot ovlivňuje indexování pro vyhledávání; spolehlivě nezastaví živé stahování jménem uživatele.

Perplexity uvádí, že každé nastavení v robots.txt funguje nezávisle a že se změny mohou projevit až do 24 hodin.

Čím se Perplexity liší od ChatGPT a Claude?

Všichni tři dodavatelé oddělují vyhledávací crawler od agenta stahujícího na žádost uživatele. Perplexity se odlišuje dvěma detaily. Zaprvé neprovozuje samostatný trénovací crawler: uvádí, že PerplexityBot se nepoužívá k procházení obsahu pro základní AI modely, takže neexistuje trénovací token, o kterém by se dalo rozhodovat. Zadruhé výslovně uvádí, že její agent pro uživatele obecně ignoruje robots.txt, zatímco OpenAI říká, že se robots.txt na ChatGPT-User nemusí vztahovat, a Anthropic říká, že jeho boti včetně Claude-User robots.txt dodržují.

V praxi to znamená jedno rozhodnutí v robots.txt pro vyhledávací crawler Perplexity a rozhodnutí na úrovni firewallu, pokud byste někdy chtěli zastavit stahování na žádost uživatele.

Jaký robots.txt použít pro Perplexity?

Pokud chcete být citováni, vyhledávací crawler výslovně povolte. Pamatujte, že jmenovaná skupina nedědí pravidla od *, proto soukromé cesty zopakujte:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Protože PerplexityBot není trénovací crawler, jeho zablokování kvůli odhlášení z trénování modelů by vás stálo viditelnost ve vyhledávání, aniž by sloužilo tomuto cíli.

Pokud v robots.txt uvádíte sitemapu, ponechte řádek Sitemap: mimo jakoukoli skupinu nebo na konci souboru; platí pro všechny crawlery. Dbejte také na to, aby samotnou sitemapu neblokoval firewall, protože crawler, který ji nemůže stáhnout, ji nemůže použít k nalezení nových nebo změněných stránek.

Jak zajistím, aby firewall Perplexity neblokoval?

Ochrana proti botům často považuje každý požadavek, který nepochází z prohlížeče, za podezřelý. Vyžádejte si stránku s každým user agentem Perplexity a porovnejte odpověď s požadavkem z prohlížeče. Pokud crawler dostane 403, 429 nebo ověřovací stránku, přidejte pravidlo povolení, které porovnává token a ideálně i zveřejněné rozsahy IP, aby prošel jen skutečný provoz Perplexity. V Cloudflare AI Crawl Control vypisuje AI crawlery s akcí Allow nebo Block pro každý z nich.

Ověřujte, nespoléhejte na user agent. Kdokoli může poslat požadavek, který tvrdí PerplexityBot, takže pravidlo povolení založené jen na user agentu pustí i napodobitele a blokaci na něm založenou lze obejít. Kontrola zdrojové IP podle seznamů zveřejněných Perplexity dělá oba druhy pravidel spolehlivými.

AISeeWhy testuje PerplexityBot a Perplexity-User spolu s dalšími 12 crawlery. Protože oba rozhodují o tom, zda Perplexity může vaši stránku použít v odpovědi, je blokace kteréhokoli z nich hlášena jako P1 s pravidlem, které ji opraví.

Časté dotazy

Používá Perplexity můj obsah k trénování AI modelů?

Perplexity uvádí, že ani PerplexityBot, ani Perplexity-User se nepoužívají ke sběru obsahu pro trénování základních AI modelů.

Proč Perplexity-User ignoruje robots.txt?

Úvaha Perplexity je taková, že stránku vyžádal uživatel, takže stažení jedná jeho jménem a nejde o automatizované procházení. Dokumentace uvádí, že agent z tohoto důvodu robots.txt obecně ignoruje.

Jak mohu Perplexity-User zablokovat, když je to potřeba?

Použijte firewall nebo CDN a porovnávejte token user agenta a rozsahy IP zveřejněné Perplexity. robots.txt pro tohoto agenta není spolehlivý nástroj.

Jak dlouho trvá, než se změna v robots.txt uplatní?

Perplexity uvádí, že může trvat až 24 hodin, než její systémy změny zohlední.

Zastaví zablokování PerplexityBot úplně použití mého obsahu Perplexity?

Ne. Vaše stránky zůstanou mimo procházení pro vyhledávací index Perplexity, ale Perplexity-User může stránku stále stáhnout, když se na ni uživatel zeptá, protože tento agent robots.txt obecně ignoruje.

Zdroje

Další články