AISeeWhy
FI
Aloita ilmainen kokeilu

Perplexityn crawlerit: PerplexityBot ja Perplexity-User

Julkaistu

Lyhyt vastaus

Perplexity käyttää PerplexityBotia nostaakseen sivustoja esiin ja linkittääkseen niihin hakutuloksissaan sekä Perplexity-Useria käydäkseen sivuilla, kun käyttäjän kysymys sitä vaatii. Perplexity sanoo, että PerplexityBot noudattaa robots.txt:ää eikä sitä käytetä perusmallien kouluttamiseen, kun taas Perplexity-User ohittaa robots.txt:n yleensä, koska käyttäjä on pyytänyt noutoa.

Perplexity on rakennettu lainausten ympärille: vastauksiin kuuluu numeroituja linkkejä sivuille, joihin ne perustuvat. Sen crawler-dokumentaatio on lyhyt ja kertoo selvästi, mikä agentti noudattaa robots.txt:ää ja mikä ei. Tämä ero ratkaisee, mitä työkalua käytät, jos haluat hallita jompaakumpaa.

Tällä sivulla
  1. Mitä PerplexityBot tekee
  2. Mitä Perplexity-User tekee
  3. Mitä robots.txt ohjaa ja mitä ei
  4. Miten Perplexity eroaa ChatGPT:stä ja Claudesta
  5. Millaista robots.txt:ää käytän Perplexitylle
  6. Miten varmistan, ettei palomuuri estä Perplexityä

Mitä PerplexityBot tekee

PerplexityBot on suunniteltu nostamaan sivustoja esiin ja linkittämään niihin Perplexityn hakutuloksissa. Perplexity sanoo, ettei sitä käytetä sisällön keräämiseen tekoälyperusmalleja varten. Näkyäksesi Perplexityn hakutuloksissa Perplexity suosittelee sallimaan PerplexityBotin robots.txt:ssä.

Perplexity dokumentoi tämän user agentin:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Versionumero voi muuttua, joten palomuurisääntöjen tulee vertailla tokeniin PerplexityBot. Perplexity julkaisee IP-alueet osoitteessa perplexity.ai/perplexitybot.json.

Mitä Perplexity-User tekee

Perplexity-User tukee käyttäjän toimintoja. Kun joku esittää Perplexitylle kysymyksen, se voi käydä verkkosivulla antaakseen tarkan vastauksen ja liittää mukaan linkin sivulle. Perplexity sanoo, ettei sitä käytetä verkon läpikäyntiin eikä koulutusdatan keräämiseen.

Sen dokumentoitu user agent on Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), ja sen IP-alueet on julkaistu osoitteessa perplexity.ai/perplexity-user.json.

Mitä robots.txt ohjaa ja mitä ei

Tämä on tärkein kohta. Perplexity toteaa, että koska käyttäjä on pyytänyt noutoa, Perplexity-User ohittaa robots.txt-säännöt yleensä. PerplexityBotin robots.txt-ryhmä vaikuttaa hakua varten tehtävään indeksointiin; se ei luotettavasti pysäytä reaaliaikaisia noutoja käyttäjän puolesta.

Perplexity sanoo, että jokainen robots.txt-asetus toimii itsenäisesti ja että muutosten näkyminen voi kestää jopa 24 tuntia.

Miten Perplexity eroaa ChatGPT:stä ja Claudesta

Kaikki kolme toimittajaa erottavat hakucrawlerin käyttäjän pyytämästä noutajasta. Kaksi seikkaa erottaa Perplexityn muista. Ensinnäkin sillä ei ole erillistä koulutuscrawleria: se sanoo, ettei PerplexityBotia käytetä sisällön läpikäyntiin tekoälyperusmalleja varten, joten koulutustokenia, josta päättää, ei ole. Toiseksi se sanoo selvästi, että sen käyttäjänoutaja ohittaa robots.txt:n yleensä, kun taas OpenAI sanoo, ettei robots.txt välttämättä päde ChatGPT-Useriin, ja Anthropic sanoo botiensa, Claude-User mukaan lukien, noudattavan robots.txt:ää.

Käytännössä tämä tarkoittaa yhtä päätöstä Perplexityn hakucrawlerille robots.txt:ssä ja palomuuripäätöstä, jos joskus haluat pysäyttää käyttäjän pyytämät noudot.

Millaista robots.txt:ää käytän Perplexitylle

Jos haluat tulla lainatuksi, salli hakucrawler nimenomaisesti. Muista, ettei nimetty ryhmä peri sääntöjä ryhmältä *, joten toista kaikki yksityiset polut:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Koska PerplexityBot ei ole koulutuscrawler, sen estäminen mallikoulutuksesta kieltäytymiseksi maksaisi hakunäkyvyyttä palvelematta tätä tavoitetta.

Jos listaat sivukartan robots.txt:ssä, pidä Sitemap:-rivi kaikkien ryhmien ulkopuolella tai tiedoston lopussa; se koskee kaikkia crawlereita. Varmista myös, ettei palomuurisi estä itse sivukarttaa, sillä crawler, joka ei voi noutaa sitä, ei voi käyttää sitä uusien tai muuttuneiden sivujen löytämiseen.

Miten varmistan, ettei palomuuri estä Perplexityä

Bottisuojaus pitää usein epäilyttävänä kaikkia pyyntöjä, jotka eivät tule selaimesta. Pyydä sivusi kullakin Perplexityn user agentilla ja vertaa vastausta selainpyyntöön. Jos crawler saa 403-, 429- tai haastesivun, lisää sallimissääntö, joka vertaa tokeniin ja mieluiten myös julkaistuihin IP-alueisiin, jotta vain aito Perplexity-liikenne pääsee läpi. Cloudflaressa AI Crawl Control listaa tekoälycrawlerit, ja kullekin on toiminto Allow tai Block.

Varmenna sen sijaan, että luottaisit user agentiin. Kuka tahansa voi lähettää pyynnön, joka sanoo PerplexityBot, joten pelkkään user agentiin perustuva sallimissääntö päästää läpi myös jäljittelijät, ja siihen perustuva esto voidaan kiertää. Lähde-IP:n tarkistaminen Perplexityn julkaisemista listoista tekee molemmista sääntötyypeistä luotettavia.

AISeeWhy testaa PerplexityBotin ja Perplexity-Userin yhdessä 12 muun crawlerin kanssa. Koska molemmat ratkaisevat, voiko Perplexity käyttää sivuasi vastauksessa, kummankin esto raportoidaan P1:nä korjaavan säännön kanssa.

Usein kysytyt kysymykset

Käyttääkö Perplexity sisältöäni tekoälymallien kouluttamiseen?

Perplexity sanoo, ettei sen PerplexityBotia eikä Perplexity-Useria käytetä sisällön keräämiseen tekoälyperusmallien koulutusta varten.

Miksi Perplexity-User ohittaa robots.txt:n?

Perplexityn perustelu on, että käyttäjä pyysi sivua, joten nouto tapahtuu käyttäjän puolesta eikä automaattisena läpikäyntinä. Dokumentaation mukaan noutaja ohittaa robots.txt:n tästä syystä yleensä.

Miten estän Perplexity-Userin tarvittaessa?

Käytä palomuuria tai CDN:ää ja vertaa user agent -tokeniin ja Perplexityn julkaisemiin IP-alueisiin. robots.txt ei ole luotettava keino tälle agentille.

Kuinka kauan robots.txt-muutoksen voimaantulo kestää?

Perplexity sanoo, että muutosten näkyminen sen järjestelmissä voi kestää jopa 24 tuntia.

Estääkö PerplexityBotin estäminen Perplexityä käyttämästä sisältöäni lainkaan?

Ei. Se pitää sivusi pois Perplexityn hakuindeksin läpikäynnistä, mutta Perplexity-User voi silti noutaa sivun, kun käyttäjä kysyy siitä, koska kyseinen noutaja ohittaa robots.txt:n yleensä.

Lähteet

Lisää artikkeleita