AISeeWhy
IT
Prova gratuita

I crawler di Perplexity: PerplexityBot e Perplexity-User

Pubblicato

Risposta breve

Perplexity usa PerplexityBot per mostrare e linkare i siti nei suoi risultati di ricerca, e Perplexity-User per visitare le pagine quando la domanda di un utente lo richiede. Perplexity dice che PerplexityBot segue il robots.txt e non viene usato per addestrare modelli di base, mentre Perplexity-User in genere ignora il robots.txt perché il download è stato richiesto da un utente.

Perplexity è costruito attorno alle citazioni: le risposte arrivano con link numerati alle pagine da cui attingono. La sua documentazione sui crawler è breve e dice chiaramente quale agente segue il robots.txt e quale no. Questa differenza decide quale strumento usare se vuoi controllare l'uno o l'altro.

In questa pagina
  1. Che cosa fa PerplexityBot?
  2. Che cosa fa Perplexity-User?
  3. Che cosa controlla il robots.txt e che cosa no?
  4. In che cosa Perplexity è diverso da ChatGPT e Claude?
  5. Quale robots.txt devo usare per Perplexity?
  6. Come mi assicuro che il firewall non blocchi Perplexity?

Che cosa fa PerplexityBot?

PerplexityBot è progettato per mostrare e linkare i siti web nei risultati di ricerca di Perplexity. Perplexity dice che non viene usato per scansionare contenuti destinati ai modelli di base di IA. Per comparire nei risultati di ricerca di Perplexity, la società consiglia di consentire PerplexityBot nel robots.txt.

Perplexity documenta questo user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Il numero di versione può cambiare, quindi le regole del firewall dovrebbero cercare il token PerplexityBot. Perplexity pubblica gli intervalli di IP su perplexity.ai/perplexitybot.json.

Che cosa fa Perplexity-User?

Perplexity-User supporta le azioni dell'utente. Quando qualcuno pone una domanda a Perplexity, questo può visitare una pagina web per dare una risposta accurata e includere un link a quella pagina. Perplexity dice che non viene usato per scansionare il web né per raccogliere dati di addestramento.

Il suo user agent documentato è Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), e i suoi intervalli di IP sono pubblicati su perplexity.ai/perplexity-user.json.

Che cosa controlla il robots.txt e che cosa no?

Questo è il punto chiave. Perplexity afferma che, poiché il download è stato richiesto da un utente, Perplexity-User in genere ignora le regole del robots.txt. Un gruppo robots.txt per PerplexityBot influisce sull'indicizzazione per la ricerca; non ferma in modo affidabile i download in tempo reale per conto di un utente.

Perplexity dice che ogni impostazione del robots.txt funziona in modo indipendente e che le modifiche possono richiedere fino a 24 ore per essere recepite.

In che cosa Perplexity è diverso da ChatGPT e Claude?

Tutti e tre i fornitori separano un crawler di ricerca da un downloader richiesto dall'utente. Due dettagli distinguono Perplexity. Primo, non ha un crawler di addestramento separato: dice che PerplexityBot non viene usato per scansionare contenuti destinati ai modelli di base di IA, quindi non c'è alcun token di addestramento su cui scegliere. Secondo, è esplicito sul fatto che il suo downloader in genere ignora il robots.txt, mentre OpenAI dice che il robots.txt potrebbe non valere per ChatGPT-User e Anthropic dice che i suoi bot, compreso Claude-User, rispettano il robots.txt.

In pratica questo significa una sola decisione nel robots.txt per il crawler di ricerca di Perplexity, e una decisione sul firewall se mai vorrai fermare i download richiesti dagli utenti.

Quale robots.txt devo usare per Perplexity?

Se vuoi essere citato, consenti esplicitamente il crawler di ricerca. Ricorda che un gruppo con nome non eredita regole da *, quindi ripeti i percorsi privati:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Poiché PerplexityBot non è un crawler di addestramento, bloccarlo per escluderti dall'addestramento dei modelli ti costerebbe visibilità nella ricerca senza raggiungere quell'obiettivo.

Se indichi una sitemap nel robots.txt, tieni la riga Sitemap: fuori da qualsiasi gruppo o alla fine del file; vale per tutti i crawler. Assicurati anche che la sitemap stessa non sia bloccata dal tuo firewall, perché un crawler che non può scaricarla non può usarla per trovare pagine nuove o modificate.

Come mi assicuro che il firewall non blocchi Perplexity?

La protezione dai bot spesso considera sospetta qualsiasi richiesta che non provenga da un browser. Richiedi la tua pagina con ciascuno user agent di Perplexity e confronta la risposta con quella di una richiesta da browser. Se il crawler riceve un 403, un 429 o una pagina di verifica, aggiungi una regola di autorizzazione che corrisponda al token e, idealmente, agli intervalli di IP pubblicati, così che passi solo il vero traffico di Perplexity. In Cloudflare, AI Crawl Control elenca i crawler di IA con un'azione Allow o Block per ciascuno.

Verifica invece di fidarti dello user agent. Chiunque può inviare una richiesta che dice PerplexityBot, quindi una regola di autorizzazione basata solo sullo user agent fa entrare anche gli imitatori, e un blocco basato su di esso può essere eluso. Controllare l'IP di origine rispetto agli elenchi pubblicati da Perplexity rende affidabili entrambi i tipi di regola.

AISeeWhy testa PerplexityBot e Perplexity-User insieme ad altri 12 crawler. Poiché entrambi decidono se Perplexity può usare la tua pagina in una risposta, il blocco di uno dei due viene segnalato come P1, con la regola per risolverlo.

Domande frequenti

Perplexity usa i miei contenuti per addestrare modelli di IA?

Perplexity dice che né PerplexityBot né Perplexity-User vengono usati per raccogliere contenuti per l'addestramento di modelli di base di IA.

Perché Perplexity-User ignora il robots.txt?

Il ragionamento di Perplexity è che un utente ha chiesto la pagina, quindi il download agisce per conto di quell'utente e non come scansione automatica. La sua documentazione dice che per questo motivo il downloader in genere ignora il robots.txt.

Come posso bloccare Perplexity-User se necessario?

Usa il tuo firewall o la tua CDN, cercando il token dello user agent e gli intervalli di IP pubblicati da Perplexity. Il robots.txt non è un controllo affidabile per questo agente.

Quanto tempo ci vuole perché una modifica al robots.txt venga applicata?

Perplexity dice che possono servire fino a 24 ore perché i suoi sistemi recepiscano le modifiche.

Bloccare PerplexityBot impedisce del tutto a Perplexity di usare i miei contenuti?

No. Tiene le tue pagine fuori dalla scansione per l'indice di ricerca di Perplexity, ma Perplexity-User può comunque scaricare una pagina quando un utente la chiede, perché quel downloader in genere ignora il robots.txt.

Fonti

Altri articoli