Crawlerele Perplexity: PerplexityBot și Perplexity-User

Publicat

Răspuns scurt

Perplexity folosește PerplexityBot pentru a afișa și a trimite spre site-uri în rezultatele sale de căutare și Perplexity-User pentru a vizita pagini atunci când întrebarea unui utilizator are nevoie de ele. Perplexity spune că PerplexityBot respectă robots.txt și nu este folosit pentru antrenarea modelelor de bază, în timp ce Perplexity-User ignoră în general robots.txt, pentru că preluarea a fost cerută de un utilizator.

Perplexity este construit în jurul citărilor: răspunsurile vin cu linkuri numerotate către paginile pe care se bazează. Documentația sa despre crawlere este scurtă și spune clar care agent respectă robots.txt și care nu. Această diferență decide ce instrument folosești dacă vrei să controlezi fiecare agent.

Pe această pagină
  1. Ce face PerplexityBot?
  2. Ce face Perplexity-User?
  3. Ce controlează robots.txt și ce nu?
  4. Prin ce diferă Perplexity de ChatGPT și Claude?
  5. Ce robots.txt să folosesc pentru Perplexity?
  6. Cum mă asigur că firewall-ul nu blochează Perplexity?

Ce face PerplexityBot?

PerplexityBot este conceput pentru a afișa și a trimite spre site-uri în rezultatele de căutare Perplexity. Perplexity spune că nu este folosit pentru a parcurge conținut destinat modelelor de bază AI. Pentru a apărea în rezultatele de căutare Perplexity, Perplexity recomandă să permiți PerplexityBot în robots.txt.

Perplexity documentează acest user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Numărul versiunii se poate schimba, așa că regulile de firewall trebuie să potrivească tokenul PerplexityBot. Perplexity publică intervalele IP la perplexity.ai/perplexitybot.json.

Ce face Perplexity-User?

Perplexity-User susține acțiunile utilizatorilor. Când cineva îi pune o întrebare lui Perplexity, acesta poate vizita o pagină web pentru a ajuta la un răspuns corect și poate include un link către acea pagină. Perplexity spune că nu este folosit pentru parcurgerea web-ului sau pentru colectarea datelor de antrenare.

User agent-ul său documentat este Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), iar intervalele sale IP sunt publicate la perplexity.ai/perplexity-user.json.

Ce controlează robots.txt și ce nu?

Acesta este punctul-cheie. Perplexity afirmă că, fiindcă un utilizator a cerut preluarea, Perplexity-User ignoră în general regulile din robots.txt. Un grup robots.txt pentru PerplexityBot afectează indexarea pentru căutare; nu oprește în mod sigur preluările live făcute în numele unui utilizator.

Perplexity spune că fiecare setare din robots.txt funcționează independent și că modificările pot dura până la 24 de ore să se reflecte.

Prin ce diferă Perplexity de ChatGPT și Claude?

Toți trei furnizorii separă un crawler de căutare de un agent de preluare cerută de utilizator. Două detalii deosebesc Perplexity. În primul rând, nu rulează un crawler de antrenare separat: spune că PerplexityBot nu este folosit pentru a parcurge conținut destinat modelelor de bază AI, deci nu există un token de antrenare despre care să decizi. În al doilea rând, spune explicit că agentul său pentru utilizator ignoră în general robots.txt, în timp ce OpenAI spune că robots.txt poate să nu se aplice pentru ChatGPT-User, iar Anthropic spune că boții săi, inclusiv Claude-User, respectă robots.txt.

În practică, asta înseamnă o singură decizie pentru crawlerul de căutare Perplexity în robots.txt și o decizie de firewall dacă vrei vreodată să oprești preluările cerute de utilizatori.

Ce robots.txt să folosesc pentru Perplexity?

Dacă vrei să fii citat, permite explicit crawlerul de căutare. Ține minte că un grup numit nu moștenește reguli de la *, așa că repetă căile private:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Deoarece PerplexityBot nu este un crawler de antrenare, blocarea lui pentru a refuza antrenarea modelelor ți-ar costa vizibilitatea în căutare, fără a servi acel scop.

Dacă listezi un sitemap în robots.txt, pune linia Sitemap: în afara oricărui grup sau la sfârșitul fișierului; se aplică tuturor crawlerelor. Asigură-te și că sitemap-ul însuși nu este blocat de firewall, deoarece un crawler care nu îl poate prelua nu îl poate folosi pentru a găsi pagini noi sau modificate.

Cum mă asigur că firewall-ul nu blochează Perplexity?

Protecția anti-bot tratează adesea orice cerere care nu vine dintr-un browser ca fiind suspectă. Cere pagina cu fiecare user agent Perplexity și compară răspunsul cu cel dintr-o cerere din browser. Dacă crawlerul primește un 403, un 429 sau o pagină de verificare, adaugă o regulă de permisiune care potrivește tokenul și, ideal, intervalele IP publicate, astfel încât să treacă doar traficul real Perplexity. În Cloudflare, AI Crawl Control listează crawlerele AI cu o acțiune Allow sau Block pentru fiecare.

Verifică, nu te baza pe user agent. Oricine poate trimite o cerere care spune PerplexityBot, așa că o regulă de permisiune bazată doar pe user agent lasă să intre și imitatorii, iar un blocaj bazat pe el poate fi ocolit. Verificarea IP-ului sursă față de listele publicate de Perplexity face fiabile ambele tipuri de reguli.

AISeeWhy testează PerplexityBot și Perplexity-User alături de alte 12 crawlere. Deoarece amândoi decid dacă Perplexity îți poate folosi pagina într-un răspuns, blocarea oricăruia este raportată ca P1, cu regula care o remediază.

Întrebări frecvente

Folosește Perplexity conținutul meu pentru a antrena modele AI?

Perplexity spune că nici PerplexityBot, nici Perplexity-User nu sunt folosiți pentru a colecta conținut destinat antrenării modelelor de bază AI.

De ce ignoră Perplexity-User robots.txt?

Raționamentul Perplexity este că un utilizator a cerut pagina, deci preluarea acționează în numele acelui utilizator, nu ca o parcurgere automată. Documentația sa spune că agentul ignoră în general robots.txt din acest motiv.

Cum pot bloca Perplexity-User, dacă am nevoie?

Folosește firewall-ul sau CDN-ul, potrivind tokenul user agent-ului și intervalele IP publicate de Perplexity. robots.txt nu este un control de încredere pentru acest agent.

Cât durează până se aplică o modificare din robots.txt?

Perplexity spune că poate dura până la 24 de ore ca sistemele sale să reflecte modificările.

Oprește blocarea PerplexityBot orice utilizare a conținutului meu de către Perplexity?

Nu. Îți ține paginile în afara parcurgerii pentru indexul de căutare Perplexity, dar Perplexity-User poate prelua în continuare o pagină atunci când un utilizator întreabă despre ea, pentru că acest agent ignoră în general robots.txt.

Surse

Alte articole