AISeeWhy
FR
Démarrer l'essai gratuit

Les robots de Perplexity : PerplexityBot et Perplexity-User

Publié le

Réponse courte

Perplexity utilise PerplexityBot pour faire apparaître et lier des sites dans ses résultats de recherche, et Perplexity-User pour visiter des pages quand la question d'un utilisateur l'exige. Perplexity indique que PerplexityBot suit le robots.txt et n'est pas utilisé pour entraîner des modèles de fondation, tandis que Perplexity-User ignore en général le robots.txt, puisque c'est un utilisateur qui a demandé la récupération.

Perplexity est bâti autour des citations : les réponses s'accompagnent de liens numérotés vers les pages dont elles s'inspirent. Sa documentation sur ses robots est courte et dit clairement quel agent suit le robots.txt et lequel ne le suit pas. Cette différence détermine l'outil à utiliser si vous voulez contrôler l'un ou l'autre.

Sur cette page
  1. Que fait PerplexityBot ?
  2. Que fait Perplexity-User ?
  3. Que contrôle le robots.txt, et que ne contrôle-t-il pas ?
  4. En quoi Perplexity diffère de ChatGPT et de Claude ?
  5. Quel robots.txt utiliser pour Perplexity ?
  6. Comment m'assurer que le pare-feu ne bloque pas Perplexity ?

Que fait PerplexityBot ?

PerplexityBot est conçu pour faire apparaître et lier des sites dans les résultats de recherche de Perplexity. Perplexity indique qu'il n'est pas utilisé pour explorer du contenu destiné aux modèles de fondation d'IA. Pour apparaître dans les résultats de recherche de Perplexity, la société recommande d'autoriser PerplexityBot dans le robots.txt.

Perplexity documente ce user-agent :

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Le numéro de version peut changer : les règles de pare-feu doivent donc cibler le jeton PerplexityBot. Perplexity publie les plages d'IP sur perplexity.ai/perplexitybot.json.

Que fait Perplexity-User ?

Perplexity-User accompagne les actions de l'utilisateur. Quand quelqu'un pose une question à Perplexity, celui-ci peut visiter une page web pour donner une réponse exacte et inclure un lien vers cette page. Perplexity indique qu'il n'est pas utilisé pour explorer le web ni pour collecter des données d'entraînement.

Son user-agent documenté est Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), et ses plages d'IP sont publiées sur perplexity.ai/perplexity-user.json.

Que contrôle le robots.txt, et que ne contrôle-t-il pas ?

C'est le point essentiel. Perplexity indique que, la récupération ayant été demandée par un utilisateur, Perplexity-User ignore en général les règles du robots.txt. Un groupe robots.txt pour PerplexityBot agit sur l'indexation pour la recherche ; il n'arrête pas de façon fiable les récupérations en direct au nom d'un utilisateur.

Perplexity indique que chaque réglage du robots.txt fonctionne indépendamment, et que les changements peuvent mettre jusqu'à 24 heures à être pris en compte.

En quoi Perplexity diffère de ChatGPT et de Claude ?

Les trois éditeurs séparent un robot de recherche d'un agent de récupération demandée par l'utilisateur. Deux détails distinguent Perplexity. D'abord, il n'a pas de robot d'entraînement distinct : il indique que PerplexityBot n'est pas utilisé pour explorer du contenu destiné aux modèles de fondation d'IA, il n'y a donc pas de jeton d'entraînement sur lequel choisir. Ensuite, il est explicite sur le fait que son agent de récupération ignore en général le robots.txt, là où OpenAI dit que le robots.txt peut ne pas s'appliquer à ChatGPT-User et où Anthropic dit que ses bots, y compris Claude-User, respectent le robots.txt.

En pratique, cela donne une seule décision à prendre dans le robots.txt pour le robot de recherche de Perplexity, et une décision de pare-feu si vous voulez un jour arrêter les récupérations demandées par les utilisateurs.

Quel robots.txt utiliser pour Perplexity ?

Si vous voulez être cité, autorisez explicitement le robot de recherche. N'oubliez pas qu'un groupe nommé n'hérite pas des règles de * : répétez donc les chemins privés :

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Comme PerplexityBot n'est pas un robot d'entraînement, le bloquer pour refuser l'entraînement des modèles vous ferait perdre de la visibilité dans la recherche sans servir cet objectif.

Si vous indiquez un sitemap dans le robots.txt, gardez la ligne Sitemap: en dehors de tout groupe ou à la fin du fichier ; elle s'applique à tous les robots. Assurez-vous aussi que le sitemap lui-même n'est pas bloqué par votre pare-feu, car un robot qui ne peut pas le récupérer ne peut pas s'en servir pour trouver les pages nouvelles ou modifiées.

Comment m'assurer que le pare-feu ne bloque pas Perplexity ?

La protection anti-bots considère souvent toute requête hors navigateur comme suspecte. Demandez votre page avec chaque user-agent de Perplexity et comparez la réponse avec celle d'une requête de navigateur. Si le robot reçoit un 403, un 429 ou une page de vérification, ajoutez une règle d'autorisation qui cible le jeton et, idéalement, les plages d'IP publiées, afin que seul le vrai trafic de Perplexity passe. Dans Cloudflare, AI Crawl Control liste les robots d'IA avec une action Allow ou Block pour chacun.

Vérifiez plutôt que de vous fier au user-agent. N'importe qui peut envoyer une requête qui se dit PerplexityBot : une règle d'autorisation fondée sur le seul user-agent laisse donc aussi entrer les imitateurs, et un blocage fondé sur lui peut être contourné. Comparer l'IP source avec les listes publiées par Perplexity rend les deux types de règles fiables.

AISeeWhy teste PerplexityBot et Perplexity-User avec 12 autres robots. Comme les deux décident si Perplexity peut utiliser votre page dans une réponse, le blocage de l'un ou de l'autre est signalé en P1, avec la règle pour le corriger.

Questions fréquentes

Perplexity utilise-t-il mon contenu pour entraîner des modèles d'IA ?

Perplexity indique que ni PerplexityBot ni Perplexity-User ne servent à collecter du contenu pour entraîner des modèles de fondation d'IA.

Pourquoi Perplexity-User ignore-t-il le robots.txt ?

Selon Perplexity, un utilisateur a demandé la page : la récupération agit donc au nom de cet utilisateur et non comme une exploration automatisée. Sa documentation dit que l'agent ignore en général le robots.txt pour cette raison.

Comment bloquer Perplexity-User si je dois le faire ?

Passez par votre pare-feu ou CDN, en ciblant le jeton du user-agent et les plages d'IP publiées par Perplexity. Le robots.txt n'est pas un contrôle fiable pour cet agent.

Combien de temps faut-il pour qu'un changement de robots.txt soit appliqué ?

Perplexity indique qu'il peut falloir jusqu'à 24 heures pour que ses systèmes prennent en compte les changements.

Bloquer PerplexityBot empêche-t-il Perplexity d'utiliser mon contenu ?

Non. Cela garde vos pages hors de l'exploration pour l'index de recherche de Perplexity, mais Perplexity-User peut quand même récupérer une page quand un utilisateur la demande, car cet agent ignore en général le robots.txt.

Sources

Autres articles