Crawlers da Perplexity: PerplexityBot e Perplexity-User
A Perplexity usa o PerplexityBot para exibir e linkar sites em seus resultados de busca e o Perplexity-User para visitar páginas quando a pergunta de um usuário precisa delas. A Perplexity diz que o PerplexityBot segue o robots.txt e não é usado para treinar modelos de base, enquanto o Perplexity-User em geral ignora o robots.txt, porque um usuário pediu o acesso.
A Perplexity é construída em torno de citações: as respostas vêm com links numerados para as páginas em que se baseiam. A documentação de crawlers dela é curta e diz claramente qual agente segue o robots.txt e qual não. Essa diferença decide qual ferramenta você usa se quiser controlar cada um.
Neste artigo
O que o PerplexityBot faz?
O PerplexityBot foi projetado para exibir e linkar sites nos resultados de busca da Perplexity. A Perplexity diz que ele não é usado para rastrear conteúdo para modelos de base de IA. Para aparecer nos resultados de busca da Perplexity, ela recomenda liberar o PerplexityBot no robots.txt.
A Perplexity documenta este user agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)O número da versão pode mudar, então as regras de firewall devem usar o token PerplexityBot. A Perplexity publica as faixas de IP em perplexity.ai/perplexitybot.json.
O que o Perplexity-User faz?
O Perplexity-User apoia ações do usuário. Quando alguém faz uma pergunta à Perplexity, ela pode visitar uma página da web para ajudar a dar uma resposta precisa e incluir um link para essa página. A Perplexity diz que ele não é usado para rastrear a web nem para coletar dados de treinamento.
O user agent documentado dele é Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), e as faixas de IP são publicadas em perplexity.ai/perplexity-user.json.
O que o robots.txt controla e o que não controla?
Este é o ponto-chave. A Perplexity afirma que, como um usuário pediu o acesso, o Perplexity-User em geral ignora as regras do robots.txt. Um grupo de robots.txt para o PerplexityBot afeta a indexação para a busca; não impede de forma confiável os acessos em tempo real em nome de um usuário.
- Bloquear o
PerplexityBotno robots.txt: suas páginas não são rastreadas para o índice de busca da Perplexity, então é menos provável que sejam exibidas e linkadas. - Bloquear o
Perplexity-Userno robots.txt: segundo a documentação da Perplexity, o agente em geral ignora isso, então não é um controle confiável. - Bloquear o
Perplexity-Userno firewall: o acesso falha, e os usuários que perguntam sobre sua página recebem uma resposta sem ela. - Liberar os dois: a Perplexity pode indexar suas páginas e lê-las em tempo real quando um usuário pergunta.
A Perplexity diz que cada configuração do robots.txt funciona de forma independente e que as mudanças podem levar até 24 horas para aparecer.
Como a Perplexity se diferencia do ChatGPT e do Claude?
Os três fornecedores separam um crawler de busca de um agente acionado pelo usuário. Dois detalhes distinguem a Perplexity. Primeiro, ela não opera um crawler de treinamento separado: diz que o PerplexityBot não é usado para rastrear conteúdo para modelos de base de IA, então não há token de treinamento sobre o qual decidir. Segundo, ela é explícita ao dizer que seu agente de usuário em geral ignora o robots.txt, enquanto a OpenAI diz que o robots.txt pode não valer para o ChatGPT-User e a Anthropic diz que seus bots, incluindo o Claude-User, respeitam o robots.txt.
Na prática, isso significa uma única decisão no robots.txt para o crawler de busca da Perplexity, e uma decisão de firewall se você algum dia quiser impedir os acessos pedidos por usuários.
Que robots.txt devo usar para a Perplexity?
Se você quer ser citado, libere o crawler de busca explicitamente. Lembre que um grupo nomeado não herda regras do *, então repita os caminhos privados:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/Como o PerplexityBot não é um crawler de treinamento, bloqueá-lo para optar por sair do treinamento de modelos custaria visibilidade na busca sem servir a esse objetivo.
Se você lista um sitemap no robots.txt, mantenha a linha Sitemap: fora de qualquer grupo ou no fim do arquivo; ela vale para todos os crawlers. Garanta também que o próprio sitemap não seja bloqueado pelo firewall, pois um crawler que não consegue buscá-lo não pode usá-lo para encontrar páginas novas ou alteradas.
Como garanto que o firewall não bloqueie a Perplexity?
A proteção contra bots costuma tratar qualquer requisição que não seja de navegador como suspeita. Peça sua página com cada user agent da Perplexity e compare a resposta com a de um navegador. Se o crawler receber um 403, um 429 ou uma página de desafio, adicione uma regra de permissão que use o token e, idealmente, as faixas de IP publicadas, para que só o tráfego real da Perplexity passe. Na Cloudflare, o AI Crawl Control lista os crawlers de IA com uma ação Allow ou Block para cada um.
Verifique em vez de confiar no user agent. Qualquer um pode enviar uma requisição que diz PerplexityBot, então uma regra de permissão baseada só no user agent também deixa entrar imitadores, e um bloqueio baseado nele pode ser contornado. Conferir o IP de origem com as listas publicadas pela Perplexity torna os dois tipos de regra confiáveis.
A AISeeWhy testa o PerplexityBot e o Perplexity-User junto com outros 12 crawlers. Como os dois decidem se a Perplexity pode usar sua página em uma resposta, o bloqueio de qualquer um é reportado como P1, com a regra para corrigi-lo.
Perguntas frequentes
A Perplexity usa meu conteúdo para treinar modelos de IA?
A Perplexity diz que nem o PerplexityBot nem o Perplexity-User são usados para coletar conteúdo para treinar modelos de base de IA.
Por que o Perplexity-User ignora o robots.txt?
O raciocínio da Perplexity é que um usuário pediu a página, então o acesso age em nome desse usuário e não como rastreamento automatizado. A documentação dela diz que o agente em geral ignora o robots.txt por esse motivo.
Como posso bloquear o Perplexity-User, se precisar?
Use seu firewall ou CDN, combinando o token do user agent e as faixas de IP publicadas pela Perplexity. O robots.txt não é um controle confiável para esse agente.
Quanto tempo uma mudança no robots.txt leva para valer?
A Perplexity diz que pode levar até 24 horas para os sistemas dela refletirem as mudanças.
Bloquear o PerplexityBot impede a Perplexity de usar meu conteúdo?
Não. Isso mantém suas páginas fora do rastreamento para o índice de busca da Perplexity, mas o Perplexity-User ainda pode buscar uma página quando um usuário pergunta sobre ela, porque esse agente em geral ignora o robots.txt.
Fontes
- Perplexity: crawlers da Perplexity
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: gerenciar crawlers de IA (AI Crawl Control)