Miksi sivustoni ei näy Perplexityssä?

Julkaistu

Lyhyt vastaus

Perplexity voi nostaa esiin ja linkittää vain sivuja, joita PerplexityBot saa läpikäydä ja jotka se todella saa. Tavallisimmat syyt ovat robots.txt-sääntö, joka kieltää PerplexityBotin, palomuuri tai CDN, joka vastaa sille 403-virheellä tai haastesivulla, sekä teksti, joka ilmestyy vasta JavaScriptin suorituksen jälkeen. Tarkista kaikki kolme ja salli sitten Perplexityn julkaisemat IP-alueet.

Kysyt Perplexitylta tuotteestasi, ja se lainaa kilpailijaa, arvostelusivustoa tai keskusteluketjua mutta ei koskaan omia sivujasi. Joskus kyse on relevanssista. Usein syy on tekninen este, jonka löytää muutamassa minuutissa. Perplexity dokumentoi, mitä agentteja se käyttää, mitä kukin tekee ja mistä sen liikenne tulee, joten ketjun jokainen lenkki voidaan tarkistaa: robots.txt, palvelimesi lähettämä vastaus ja vastauksen sisältö.

Tällä sivulla
  1. Miten Perplexity löytää ja lukee sivuja?
  2. Estääkö robots.txt PerplexityBotin?
  3. Estääkö palomuurisi tai CDN Perplexityn?
  4. Miten sallin Perplexityn sen julkaisemien IP-alueiden perusteella?
  5. Voiko JavaScript-renderöinti estää Perplexityä lukemasta sivua?
  6. Entä jos kaikki on auki, mutta sivustoni ei silti näy?

Miten Perplexity löytää ja lukee sivuja?

Perplexity dokumentoi kaksi agenttia. Niillä on eri tehtävät, ja ongelma kummassa tahansa voi pitää sivusi poissa vastauksesta.

Käytännössä PerplexityBot ratkaisee, tietääkö Perplexity sivuistasi jo ennen kuin kukaan kysyy, ja Perplexity-User ratkaisee, voiko se avata sivun reaaliajassa, kun kysymys sitä vaatii. Jos haluat tulla lainatuksi, molempien pitää saada sama sivu kuin selaimen.

Estääkö robots.txt PerplexityBotin?

Avaa https://yourdomain.com/robots.txt ja etsi ryhmä, jossa mainitaan PerplexityBot. Jos sellaista ei ole, crawler noudattaa ryhmää User-agent: *. RFC 9309:n mukaan vertailu ei erottele kirjainkokoa, ja nimetty ryhmä korvaa ryhmän * kokonaan sen sijaan, että täydentäisi sitä.

Tämä este on yleinen. Tutkimuksessamme 1 000 suosituimman verkkotunnuksen robots.txt-tiedostoista 86 niistä 518 sivustosta, joilla robots.txt oli saatavilla (16,6 %), kielsi etusivun PerplexityBotilta. Se oli suurin osuus kaikista testaamistamme tekoälyhaun crawlereista; OAI-SearchBot oli estetty 58 sivustolla (11,2 %). Osa näistä sivustoista on voinut tarkoittaa pysäyttää tekoälykoulutuksen, mutta Perplexity sanoo, ettei PerplexityBot ole koulutuscrawler, joten sen estäminen maksaa hakunäkyvyyttä palvelematta tätä tavoitetta.

Asetus, joka päästää Perplexityn sisään ja pitää yksityisen alueen suljettuna, näyttää tältä:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Tarkista myös, että itse tiedosto vastaa oikein. Jos robots.txt palauttaa palvelinvirheen, RFC 9309:n mukaan crawlerin on oletettava koko sivusto kielletyksi. robots.txt-osoite, joka palauttaa HTML-sivun tilakoodilla 200, ei sisällä kelvollisia sääntöjä. Perplexity sanoo, että muutosten näkyminen voi kestää jopa 24 tuntia.

Estääkö palomuurisi tai CDN Perplexityn?

robots.txt on pyyntö, ei pääsynhallintaa. Palomuurisi, CDN tai bottisuojauksesi ratkaisee, mitä todella lähetetään takaisin, ja se voi vastata Perplexitylle 403-, 429- tai haastesivulla, vaikka omat selainkäyntisi näyttävät normaaleilta. Perplexityn dokumentaation mukaan verkkosovelluspalomuurin takana olevien sivustojen on ehkä sallittava sen botit erikseen.

Testaa pyytämällä samaa URL-osoitetta selaimena ja kunkin Perplexityn agentin nimissä ja vertaa tilakoodia ja kokoa:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Jos vain Perplexityn agentit saavat 403-, 429- tai 503-vastauksen, sivun otsikko on Just a moment... tai 200-vastaus on paljon selaimen vastausta pienempi, syy on kaikissa tapauksissa palomuurissa. Tämä testi tulee sinun IP-osoitteestasi, ei Perplexityn, joten se näyttää, miten sääntösi kohtelevat user agentia; IP-osoitteeseen perustuvat säännöt voivat silti toimia eri tavalla oikean crawlerin kohdalla.

Jos käytät Cloudflarea, huomaa kaksi asiaa. Perplexityn dokumentaatio toistaa Cloudflaren oman toteamuksen, ettei Bot Fight Modea voi ohittaa WAF:n mukautetuilla säännöillä, joten jos tämä ominaisuus haastaa Perplexityn, sallimissääntö ei auta. Lisäksi Cloudflare kertoi elokuussa 2025 poistaneensa Perplexityn vahvistettujen bottien listaltaan havaittuaan sen kuvaaman ilmoittamattoman läpikäynnin; Perplexity kiisti tämän kuvauksen. Säännöt, jotka päästävät läpi vain vahvistetut botit, eivät siksi välttämättä kata Perplexityä. Tarkista nykyinen tila hallintapaneelistasi sen sijaan, että oletat.

Miten sallin Perplexityn sen julkaisemien IP-alueiden perusteella?

Kuka tahansa voi lähettää pyynnön, joka väittää olevansa PerplexityBot, joten pelkkään user agentiin perustuva sallimissääntö päästää läpi myös jäljittelijät. Perplexity julkaisee molempien agenttiensa osoitealueet ja suosittelee vertaamaan user agentia ja IP-osoitetta yhdessä:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity sanoo päivittävänsä nämä listat säännöllisesti ja suosittelee automatisoimaan WAF-sääntöjen päivityksen. Sijoita sallimissääntö ennen kaikkia sääntöjä, jotka estävät tai haastavat pyyntöjä: Cloudflaren mukautetuissa säännöissä ensimmäiseksi tai AWS WAF:ssä pienemmällä prioriteettinumerolla. Seuraa sitten lokejasi, koska palomuurimuutosten leviäminen voi viedä aikaa.

Voiko JavaScript-renderöinti estää Perplexityä lukemasta sivua?

Voi. Perplexityn crawler-dokumentaatio ei kerro, suorittavatko sen agentit JavaScriptiä, joten turvallinen oletus on, että crawlerin tarvitsema teksti on palvelimen lähettämässä HTML:ssä. Selaimessa kokonaan rakennetut sivut, kuten yhden sivun sovellukset ilman palvelinrenderöintiä, voivat saapua tyhjänä kuorena, jossa on latauskuvake.

Nopea tarkistus on noutaa sivu komennolla curl ja etsiä tulosteesta lause pääsisällöstäsi. Jos sitä ei ole, skriptit lisäävät tekstin. Palvelinrenderöinti, staattinen generointi tai crawlereille tehty esirenderöinti korjaa tämän kaikille tekoälycrawlereille kerralla, ei vain Perplexitylle.

Entä jos kaikki on auki, mutta sivustoni ei silti näy?

Luettavuus on edellytys, ei takuu. Perplexity ei julkaise, miten se valitsee lainattavat lähteet, joten sivu, jonka kaikki agentit voivat lukea, voi silti hävitä sivuille, jotka vastaavat kysymykseen suoremmin. Voit varmistaa, ettei mikään tekninen seikka ole tiellä: selkeä sivun otsikko, vastaus esitetty tekstin alussa ja tarkat tosiasiat, jotka vastaavat sitä, mitä kerrot muualla.

Muista myös, mitä robots.txt ei kata. Perplexity sanoo, että Perplexity-User ohittaa robots.txt:n yleensä, koska käyttäjä on pyytänyt noutoa. Sääntö Perplexity-Userille ei siis ole luotettava tapa estää reaaliaikaisia käyntejä, eikä robots.txt, joka sallii sen, todista, että se pääsee palomuurisi läpi.

AISeeWhy pyytää sivusi PerplexityBotin, Perplexity-Userin ja 12 muun crawlerin nimissä selaimen rinnalla, soveltaa kullekin robots.txt-sääntöjäsi, tunnistaa haastesivut ja näyttää, kuinka suuri osa tekstistä saapuu ilman JavaScriptiä, jotta näet, mikä ketjun lenkki pettää.

Usein kysytyt kysymykset

Kouluttaako Perplexity malleja sisälläni?

Perplexity sanoo, ettei PerplexityBotia käytetä sisällön läpikäyntiin tekoälyperusmalleja varten eikä Perplexity-User kerää sisältöä koulutukseen. PerplexityBotin kieltäminen ei siksi toimi koulutuksesta kieltäytymisenä; se vain heikentää näkyvyyttäsi Perplexityn hakutuloksissa.

Kuinka pian robots.txt:n korjaamisen jälkeen Perplexity huomaa muutoksen?

Perplexity sanoo, että sen järjestelmissä robots.txt-muutosten näkyminen voi kestää jopa 24 tuntia. Palomuurimuutokset tulevat voimaan, kun palveluntarjoajasi ottaa ne käyttöön, mutta anna crawlerille aikaa palata ennen kuin arvioit tuloksen.

Voinko estää Perplexity-Userin robots.txt:llä?

Ei luotettavasti. Perplexity sanoo, että noutaja ohittaa robots.txt:n yleensä, koska käyttäjä on pyytänyt noutoa. Jos tarvitset eston, luotettava keino on palomuurisääntö, joka vertaa sen julkaisemiin IP-alueisiin.

Riittääkö user agentin tarkistus Perplexity-liikenteen tunnistamiseen?

Ei. User agentit on helppo kopioida. Vertaa lähde-IP:tä alueisiin, jotka Perplexity julkaisee tiedostoissa perplexitybot.json ja perplexity-user.json, ja vertaa palomuurisäännöissä sekä user agentia että IP-osoitetta.

Lähteet

Lisää artikkeleita