Perplexity robotid: PerplexityBot ja Perplexity-User

Avaldatud · Uuendatud

Lühike vastus

Perplexity kasutab PerplexityBot-i veebisaitide näitamiseks ja linkimiseks oma otsingutulemustes ning Perplexity-User-it lehtede külastamiseks, kui kasutaja küsimus neid vajab. Perplexity ütleb, et PerplexityBot järgib robots.txt-d ja seda ei kasutata alusmudelite treenimiseks, Perplexity-User aga üldjuhul ignoreerib robots.txt-d, sest laadimist palus kasutaja. Et Perplexity otsing sinu lehti ei kasutaks, keela robots.txt-s PerplexityBot; Perplexity-User-i peatamiseks kasuta tulemüürireeglit, mis vastab tema avaldatud IP-vahemikele.

Perplexity on üles ehitatud viidetele: vastustega kaasnevad nummerdatud lingid lehtedele, millele need tuginevad. Tema robotite dokumentatsioon on lühike ja ütleb selgelt, milline agent järgib robots.txt-d ja milline mitte. See erinevus otsustab, millist vahendit kasutad, kui soovid kumbagi juhtida.

Sellel lehel
  1. Mida PerplexityBot teeb?
  2. Mida Perplexity-User teeb?
  3. Mida robots.txt juhib ja mida mitte?
  4. Mille poolest erineb Perplexity ChatGPT-st ja Claude'ist?
  5. Millist robots.txt-d Perplexity jaoks kasutada?
  6. Kuidas veenduda, et tulemüür Perplexityt ei blokeeri?

Mida PerplexityBot teeb?

PerplexityBot on mõeldud veebisaitide näitamiseks ja linkimiseks Perplexity otsingutulemustes. Perplexity ütleb, et seda ei kasutata sisu roomamiseks AI alusmudelite jaoks. Perplexity otsingutulemustes ilmumiseks soovitab Perplexity lubada PerplexityBot-i robots.txt-s.

Perplexity dokumenteerib selle user agent'i:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Versiooninumber võib muutuda, seega peaksid tulemüürireeglid sobituma tunnusega PerplexityBot. Perplexity avaldab IP-vahemikud aadressil perplexity.ai/perplexitybot.json.

Mida Perplexity-User teeb?

Perplexity-User toetab kasutajate tegevusi. Kui keegi esitab Perplexityle küsimuse, võib see külastada veebilehte, et aidata anda täpne vastus, ja lisada sellele lehele lingi. Perplexity ütleb, et seda ei kasutata veebi roomamiseks ega treeningandmete kogumiseks.

Selle dokumenteeritud user agent on Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) ja selle IP-vahemikud on avaldatud aadressil perplexity.ai/perplexity-user.json.

Mida robots.txt juhib ja mida mitte?

See on põhiline. Perplexity ütleb, et kuna laadimist palus kasutaja, ignoreerib Perplexity-User üldjuhul robots.txt reegleid. robots.txt grupp PerplexityBot-ile mõjutab otsingu jaoks indekseerimist; see ei peata usaldusväärselt otselaadimisi kasutaja nimel.

Perplexity ütleb, et iga robots.txt seade toimib sõltumatult ja et muudatuste kajastumiseks võib kuluda kuni 24 tundi.

Mille poolest erineb Perplexity ChatGPT-st ja Claude'ist?

Kõik kolm pakkujat eristavad otsingurobotit kasutaja palutud laadijast. Kaks detaili eristavad Perplexityt. Esiteks pole tal eraldi treeningrobotit: ta ütleb, et PerplexityBot-i ei kasutata sisu roomamiseks AI alusmudelite jaoks, seega pole treeningtunnust, mille üle otsustada. Teiseks ütleb ta selgelt, et tema kasutajapäringute laadija üldjuhul ignoreerib robots.txt-d, samas kui OpenAI ütleb, et robots.txt ei pruugi ChatGPT-User-ile kehtida, ja Anthropic ütleb, et tema robotid, sh Claude-User, järgivad robots.txt-d.

Praktikas tähendab see robots.txt-s üht otsust Perplexity otsinguroboti kohta ja tulemüüri otsust, kui soovid kunagi kasutaja palutud laadimised peatada.

Millist robots.txt-d Perplexity jaoks kasutada?

Kui soovid, et sulle viidataks, luba otsingurobot selgesõnaliselt. Pea meeles, et nimega grupp ei päri * grupist reegleid, seega korda kõiki privaatseid teid:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Kuna PerplexityBot pole treeningrobot, maksaks selle blokeerimine mudelite treenimisest loobumiseks sulle otsingunähtavusega, ilma et see eesmärki teeniks.

Kui loetled robots.txt-s saidikaardi, hoia rida Sitemap: väljaspool gruppe või faili lõpus; see kehtib kõigile robotitele. Veendu ka, et sinu tulemüür ei blokeeri saidikaarti ennast, sest robot, mis ei saa seda laadida, ei saa seda kasutada uute või muutunud lehtede leidmiseks.

Kuidas veenduda, et tulemüür Perplexityt ei blokeeri?

Robotikaitse peab sageli kahtlaseks iga päringut, mis ei tule brauserilt. Küsi oma lehte iga Perplexity user agent'iga ja võrdle vastust brauseripäringuga. Kui robot saab 403, 429 või kontrollilehe, lisa lubav reegel, mis sobitub tunnusega ja ideaalis ka avaldatud IP-vahemikega, et läbi pääseks ainult päris Perplexity liiklus. Cloudflare'is loetleb AI Crawl Control AI-robotid koos igaühe toiminguga Allow või Block.

Kinnita, mitte ära usalda user agent'it. Igaüks võib saata päringu, mis ütleb PerplexityBot, seega laseb ainult user agent'il põhinev lubav reegel sisse ka jäljendajad ja sellel põhinevast blokeeringust saab mööda hiilida. Lähte-IP kontrollimine Perplexity avaldatud loendite järgi teeb mõlemat liiki reeglid usaldusväärseks.

AISeeWhy testib PerplexityBot-i ja Perplexity-User-it koos 12 teise robotiga. Kuna mõlemad otsustavad, kas Perplexity saab sinu lehte vastuses kasutada, märgitakse kumma tahes blokeering tasemega P1 koos reegliga selle parandamiseks.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas Perplexity kasutab minu sisu AI-mudelite treenimiseks?

Perplexity ütleb, et ei PerplexityBot-i ega Perplexity-User-it kasutata sisu kogumiseks AI alusmudelite treenimiseks.

Miks Perplexity-User ignoreerib robots.txt-d?

Perplexity põhjendus on, et lehte küsis kasutaja, seega toimib laadimine selle kasutaja nimel, mitte automaatse roomamisena. Tema dokumentatsioon ütleb, et laadija üldjuhul ignoreerib sel põhjusel robots.txt-d.

Kuidas Perplexity-User-it vajadusel blokeerida?

Kasuta oma tulemüüri või CDN-i, sobitades user agent'i tunnuse ja Perplexity avaldatud IP-vahemikud. robots.txt pole selle agendi puhul usaldusväärne vahend.

Kui kaua võtab robots.txt muudatuse rakendumine aega?

Perplexity ütleb, et muudatuste kajastumiseks tema süsteemides võib kuluda kuni 24 tundi.

Kas PerplexityBot-i blokeerimine takistab Perplexityl minu sisu üldse kasutamast?

Ei. See hoiab sinu lehed Perplexity otsinguindeksi roomamisest eemal, kuid Perplexity-User saab lehe siiski laadida, kui kasutaja selle kohta küsib, sest see laadija üldjuhul ignoreerib robots.txt-d.

Allikad

Veel artikleid