AISeeWhy
ES
Empezar prueba gratuita

Los rastreadores de Perplexity: PerplexityBot y Perplexity-User

Publicado

Respuesta corta

Perplexity usa PerplexityBot para mostrar y enlazar sitios web en sus resultados de búsqueda, y Perplexity-User para visitar páginas cuando la pregunta de un usuario lo requiere. Perplexity dice que PerplexityBot sigue el robots.txt y no se usa para entrenar modelos fundacionales, mientras que Perplexity-User por lo general ignora el robots.txt porque la descarga la pidió un usuario.

Perplexity está construido en torno a las citas: sus respuestas incluyen enlaces numerados a las páginas en las que se basan. Su documentación sobre rastreadores es breve y deja claro qué agente sigue el robots.txt y cuál no. Esa diferencia decide qué herramienta usas si quieres controlar uno u otro.

En esta página
  1. ¿Qué hace PerplexityBot?
  2. ¿Qué hace Perplexity-User?
  3. ¿Qué controla el robots.txt y qué no?
  4. ¿En qué se diferencia Perplexity de ChatGPT y Claude?
  5. ¿Qué robots.txt debo usar para Perplexity?
  6. ¿Cómo me aseguro de que el cortafuegos no bloquee a Perplexity?

¿Qué hace PerplexityBot?

PerplexityBot está diseñado para mostrar y enlazar sitios web en los resultados de búsqueda de Perplexity. Perplexity dice que no se usa para rastrear contenido destinado a modelos fundacionales de IA. Para aparecer en los resultados de búsqueda de Perplexity, la empresa recomienda permitir a PerplexityBot en el robots.txt.

Perplexity documenta este user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

El número de versión puede cambiar, así que las reglas del cortafuegos deben buscar el token PerplexityBot. Perplexity publica los rangos de IP en perplexity.ai/perplexitybot.json.

¿Qué hace Perplexity-User?

Perplexity-User respalda las acciones del usuario. Cuando alguien le hace una pregunta a Perplexity, este puede visitar una página web para dar una respuesta precisa e incluir un enlace a esa página. Perplexity dice que no se usa para rastrear la web ni para recopilar datos de entrenamiento.

Su user agent documentado es Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), y sus rangos de IP se publican en perplexity.ai/perplexity-user.json.

¿Qué controla el robots.txt y qué no?

Este es el punto clave. Perplexity afirma que, como la descarga la pidió un usuario, Perplexity-User por lo general ignora las reglas del robots.txt. Un grupo de robots.txt para PerplexityBot afecta a la indexación para la búsqueda; no detiene de forma fiable las descargas en directo en nombre de un usuario.

Perplexity dice que cada ajuste del robots.txt funciona de forma independiente y que los cambios pueden tardar hasta 24 horas en reflejarse.

¿En qué se diferencia Perplexity de ChatGPT y Claude?

Los tres proveedores separan un rastreador de búsqueda de un agente de descarga pedida por el usuario. Dos detalles distinguen a Perplexity. Primero, no tiene un rastreador de entrenamiento aparte: dice que PerplexityBot no se usa para rastrear contenido destinado a modelos fundacionales de IA, así que no hay un token de entrenamiento sobre el que decidir. Segundo, es explícito en que su agente de descarga por lo general ignora el robots.txt, mientras que OpenAI dice que el robots.txt puede no aplicarse a ChatGPT-User y Anthropic dice que sus bots, incluido Claude-User, respetan el robots.txt.

En la práctica, esto significa una única decisión en el robots.txt para el rastreador de búsqueda de Perplexity, y una decisión de cortafuegos si alguna vez quieres detener las descargas pedidas por los usuarios.

¿Qué robots.txt debo usar para Perplexity?

Si quieres que te citen, permite explícitamente al rastreador de búsqueda. Recuerda que un grupo con nombre no hereda reglas de *, así que repite las rutas privadas:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Como PerplexityBot no es un rastreador de entrenamiento, bloquearlo para evitar el entrenamiento de modelos te costaría visibilidad en la búsqueda sin lograr ese objetivo.

Si indicas un sitemap en el robots.txt, deja la línea Sitemap: fuera de cualquier grupo o al final del archivo; se aplica a todos los rastreadores. Asegúrate también de que tu cortafuegos no bloquee el propio sitemap, porque un rastreador que no puede descargarlo no puede usarlo para encontrar páginas nuevas o modificadas.

¿Cómo me aseguro de que el cortafuegos no bloquee a Perplexity?

La protección contra bots suele considerar sospechosa cualquier petición que no venga de un navegador. Pide tu página con cada user agent de Perplexity y compara la respuesta con la de una petición de navegador. Si el rastreador recibe un 403, un 429 o una página de verificación, añade una regla de permiso que coincida con el token y, idealmente, con los rangos de IP publicados, para que solo pase el tráfico real de Perplexity. En Cloudflare, AI Crawl Control lista los rastreadores de IA con una acción Allow o Block para cada uno.

Verifica en lugar de fiarte del user agent. Cualquiera puede enviar una petición que diga PerplexityBot, así que una regla de permiso basada solo en el user agent también deja pasar a los imitadores, y un bloqueo basado en él se puede esquivar. Comprobar la IP de origen con las listas publicadas por Perplexity hace fiables los dos tipos de regla.

AISeeWhy prueba PerplexityBot y Perplexity-User junto con otros 12 rastreadores. Como ambos deciden si Perplexity puede usar tu página en una respuesta, el bloqueo de cualquiera de los dos se informa como P1, con la regla para solucionarlo.

Preguntas frecuentes

¿Perplexity usa mi contenido para entrenar modelos de IA?

Perplexity dice que ni PerplexityBot ni Perplexity-User se usan para recopilar contenido con el fin de entrenar modelos fundacionales de IA.

¿Por qué Perplexity-User ignora el robots.txt?

El razonamiento de Perplexity es que un usuario pidió la página, así que la descarga actúa en nombre de ese usuario y no como un rastreo automatizado. Su documentación dice que, por ese motivo, el agente por lo general ignora el robots.txt.

¿Cómo puedo bloquear a Perplexity-User si lo necesito?

Usa tu cortafuegos o CDN, buscando el token del user agent y los rangos de IP publicados por Perplexity. El robots.txt no es un control fiable para este agente.

¿Cuánto tarda en aplicarse un cambio en el robots.txt?

Perplexity dice que sus sistemas pueden tardar hasta 24 horas en reflejar los cambios.

¿Bloquear PerplexityBot impide que Perplexity use mi contenido en absoluto?

No. Mantiene tus páginas fuera del rastreo para el índice de búsqueda de Perplexity, pero Perplexity-User aún puede descargar una página cuando un usuario pregunta por ella, porque ese agente por lo general ignora el robots.txt.

Fuentes

Más artículos