Els rastrejadors de Perplexity: PerplexityBot i Perplexity-User
Perplexity fa servir PerplexityBot per mostrar i enllaçar llocs web als seus resultats de cerca, i Perplexity-User per visitar pàgines quan la pregunta d'un usuari les necessita. Perplexity diu que PerplexityBot segueix el robots.txt i que no s'utilitza per entrenar models fundacionals, mentre que Perplexity-User en general ignora el robots.txt perquè la petició l'ha fet un usuari. Per evitar que la cerca de Perplexity faci servir les teves pàgines, bloqueja PerplexityBot al robots.txt; per aturar Perplexity-User, fes servir una regla de tallafoc basada en els seus rangs d'IP publicats.
Perplexity gira al voltant de les cites: les respostes inclouen enllaços numerats a les pàgines on es basen. La seva documentació de rastrejadors és breu, i diu clarament quin agent segueix el robots.txt i quin no. Aquesta diferència decideix quina eina has de fer servir si en vols controlar l'un o l'altre.
En aquesta pàgina
Què fa PerplexityBot?
PerplexityBot està pensat per mostrar i enllaçar llocs web als resultats de cerca de Perplexity. Perplexity diu que no s'utilitza per rastrejar contingut per a models fundacionals d'IA. Per aparèixer als resultats de cerca de Perplexity, Perplexity recomana permetre PerplexityBot al robots.txt.
Perplexity documenta aquest user agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) El número de versió pot canviar, així que les regles del tallafoc han de fer coincidir el token PerplexityBot. Perplexity publica els rangs d'IP a perplexity.ai/perplexitybot.json.
Què fa Perplexity-User?
Perplexity-User dona suport a les accions dels usuaris. Quan algú fa una pregunta a Perplexity, pot visitar una pàgina web per ajudar a donar una resposta precisa i incloure-hi un enllaç a aquella pàgina. Perplexity diu que no s'utilitza per rastrejar el web ni per recollir dades d'entrenament.
El seu user agent documentat és Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), i els seus rangs d'IP es publiquen a perplexity.ai/perplexity-user.json.
Què controla el robots.txt i què no?
Aquest és el punt clau. Perplexity afirma que, com que la petició l'ha fet un usuari, Perplexity-User en general ignora les regles del robots.txt. Un grup del robots.txt per a PerplexityBot afecta la indexació per a la cerca; no atura de manera fiable les obtencions en directe en nom d'un usuari.
- Bloquejar
PerplexityBotal robots.txt: les teves pàgines no es rastregen per a l'índex de cerca de Perplexity, així que és menys probable que es mostrin i s'enllacin. - Bloquejar
Perplexity-Useral robots.txt: segons la documentació de Perplexity, aquest agent en general ho ignora, així que no és un control fiable. - Bloquejar
Perplexity-Useral tallafoc: l'obtenció falla, i els usuaris que pregunten per la teva pàgina reben una resposta sense ella. - Permetre'ls tots dos: Perplexity pot indexar les teves pàgines i llegir-les en directe quan un usuari pregunta.
Perplexity diu que cada configuració del robots.txt funciona de manera independent, i que els canvis poden trigar fins a 24 hores a reflectir-se.
En què es diferencia Perplexity de ChatGPT i Claude?
Els tres proveïdors separen un rastrejador de cerca d'un agent que obté pàgines a petició dels usuaris. Dos detalls diferencien Perplexity. Primer, no té cap rastrejador d'entrenament separat: diu que PerplexityBot no s'utilitza per rastrejar contingut per a models fundacionals d'IA, així que no hi ha cap token d'entrenament sobre el qual decidir. Segon, diu explícitament que el seu agent per a usuaris en general ignora el robots.txt, mentre que OpenAI diu que el robots.txt pot no aplicar-se a ChatGPT-User i Anthropic diu que els seus bots, inclòs Claude-User, respecten el robots.txt.
A la pràctica, això vol dir una sola decisió al robots.txt per al rastrejador de cerca de Perplexity, i una decisió al tallafoc si mai vols aturar les obtencions demanades pels usuaris.
Quin robots.txt he de fer servir per a Perplexity?
Si vols que et citin, permet explícitament el rastrejador de cerca. Recorda que un grup amb nom no hereta les regles de *, així que repeteix els camins privats:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Com que PerplexityBot no és un rastrejador d'entrenament, bloquejar-lo per excloure't de l'entrenament de models et costaria visibilitat a la cerca sense servir aquest objectiu.
Si indiques un sitemap al robots.txt, posa la línia Sitemap: fora de qualsevol grup o al final del fitxer; s'aplica a tots els rastrejadors. Assegura't també que el teu tallafoc no bloquegi el sitemap mateix, perquè un rastrejador que no el pot obtenir no el pot fer servir per trobar pàgines noves o modificades.
Com m'asseguro que el tallafoc no bloquegi Perplexity?
La protecció contra bots sovint tracta qualsevol petició que no ve d'un navegador com a sospitosa. Demana la teva pàgina amb cada user agent de Perplexity i compara la resposta amb la d'una petició de navegador. Si el rastrejador rep un 403, un 429 o una pàgina de desafiament, afegeix una regla que permeti el token i, idealment, els rangs d'IP publicats, perquè només passi el trànsit real de Perplexity. A Cloudflare, AI Crawl Control llista els rastrejadors d'IA amb una acció Allow o Block per a cadascun.
Verifica el user agent en lloc de fiar-te'n. Qualsevol pot enviar una petició que digui PerplexityBot, així que una regla que només permet segons el user agent també deixa entrar imitadors, i un bloqueig basat en ell es pot esquivar. Comprovar la IP d'origen amb les llistes publicades per Perplexity fa fiables tots dos tipus de regla.
AISeeWhy prova PerplexityBot i Perplexity-User al costat de 12 rastrejadors més. Com que tots dos decideixen si Perplexity pot fer servir la teva pàgina en una resposta, un bloqueig de qualsevol dels dos es classifica com a P1, amb la regla per corregir-lo.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovació d'IP de rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Perplexity fa servir el meu contingut per entrenar models d'IA?
Perplexity diu que ni PerplexityBot ni Perplexity-User s'utilitzen per recollir contingut per entrenar models fundacionals d'IA.
Per què Perplexity-User ignora el robots.txt?
El raonament de Perplexity és que un usuari ha demanat la pàgina, així que l'obtenció actua en nom d'aquest usuari i no com un rastreig automatitzat. La seva documentació diu que per aquest motiu aquest agent en general ignora el robots.txt.
Com puc bloquejar Perplexity-User si ho necessito?
Fes servir el teu tallafoc o la teva CDN, fent coincidir el token del user agent i els rangs d'IP publicats per Perplexity. El robots.txt no és un control fiable per a aquest agent.
Quant triga a aplicar-se un canvi al robots.txt?
Perplexity diu que els seus sistemes poden trigar fins a 24 hores a reflectir els canvis.
Bloquejar PerplexityBot impedirà del tot que Perplexity faci servir el meu contingut?
No. Deixa les teves pàgines fora del rastreig per a l'índex de cerca de Perplexity, però Perplexity-User pot continuar obtenint una pàgina quan un usuari en pregunta, perquè aquest agent en general ignora el robots.txt.
Fonts
- Perplexity: rastrejadors de Perplexity
- RFC 9309: Protocol d'exclusió de robots
- Cloudflare: Gestió dels rastrejadors d'IA (AI Crawl Control)