AISeeWhy
NB
Start gratis prøveperiode

Perplexitys crawlere: PerplexityBot og Perplexity-User

Publisert

Kort svar

Perplexity bruker PerplexityBot til å løfte fram og lenke til nettsteder i søkeresultatene sine, og Perplexity-User til å besøke sider når spørsmålet til en bruker krever det. Perplexity sier at PerplexityBot følger robots.txt og ikke brukes til å trene grunnmodeller, mens Perplexity-User vanligvis ignorerer robots.txt fordi en bruker har bedt om hentingen.

Perplexity er bygget rundt siteringer: svarene kommer med nummererte lenker til sidene de bygger på. Dokumentasjonen om crawlerne er kort og sier tydelig hvilken agent som følger robots.txt, og hvilken som ikke gjør det. Den forskjellen avgjør hvilket verktøy du bruker hvis du vil kontrollere en av dem.

På denne siden
  1. Hva gjør PerplexityBot
  2. Hva gjør Perplexity-User
  3. Hva styrer robots.txt, og hva styrer den ikke
  4. Hvordan skiller Perplexity seg fra ChatGPT og Claude
  5. Hvilken robots.txt bør jeg bruke for Perplexity
  6. Hvordan sørger jeg for at brannmuren ikke blokkerer Perplexity

Hva gjør PerplexityBot

PerplexityBot er utformet for å løfte fram og lenke til nettsteder i Perplexitys søkeresultater. Perplexity sier at den ikke brukes til å samle inn innhold til AI-grunnmodeller. For å vises i Perplexitys søkeresultater anbefaler Perplexity at du tillater PerplexityBot i robots.txt.

Perplexity dokumenterer denne user agent-en:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Versjonsnummeret kan endre seg, så brannmurregler bør matche token PerplexityBot. Perplexity publiserer IP-områdene på perplexity.ai/perplexitybot.json.

Hva gjør Perplexity-User

Perplexity-User støtter brukerens handlinger. Når noen stiller Perplexity et spørsmål, kan den besøke en nettside for å gi et riktig svar og ta med en lenke til siden. Perplexity sier at den ikke brukes til å crawle nettet eller samle inn treningsdata.

Den dokumenterte user agent-en er Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), og IP-områdene er publisert på perplexity.ai/perplexity-user.json.

Hva styrer robots.txt, og hva styrer den ikke

Dette er hovedpoenget. Perplexity oppgir at Perplexity-User vanligvis ignorerer robots.txt-regler fordi en bruker har bedt om hentingen. En robots.txt-gruppe for PerplexityBot påvirker indekseringen for søk; den stopper ikke på en pålitelig måte live-hentinger på vegne av en bruker.

Perplexity sier at hver innstilling i robots.txt fungerer uavhengig, og at endringer kan ta opptil 24 timer å bli reflektert.

Hvordan skiller Perplexity seg fra ChatGPT og Claude

Alle tre leverandørene skiller en søkecrawler fra en brukerstyrt henter. To detaljer skiller Perplexity fra de andre. For det første kjører de ingen separat treningscrawler: de sier at PerplexityBot ikke brukes til å crawle innhold til AI-grunnmodeller, så det finnes ingen treningstoken å ta stilling til. For det andre er de tydelige på at brukerhenteren vanligvis ignorerer robots.txt, mens OpenAI sier at robots.txt kanskje ikke gjelder for ChatGPT-User, og Anthropic sier at botene deres, inkludert Claude-User, følger robots.txt.

I praksis betyr dette én enkelt beslutning for Perplexitys søkecrawler i robots.txt, og en brannmurbeslutning hvis du noen gang vil stoppe brukerstyrte hentinger.

Hvilken robots.txt bør jeg bruke for Perplexity

Hvis du vil bli sitert, tillat søkecrawleren eksplisitt. Husk at en navngitt gruppe ikke arver regler fra *, så gjenta alle private stier:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Siden PerplexityBot ikke er en treningscrawler, ville du ved å blokkere den for å velge bort modelltrening miste synlighet i søk uten å nå det målet.

Hvis du oppgir et sitemap i robots.txt, plasser linjen Sitemap: utenfor alle grupper eller på slutten av filen; den gjelder for alle crawlere. Sørg også for at selve sitemapet ikke blokkeres av brannmuren din, siden en crawler som ikke kan hente det, ikke kan bruke det til å finne nye eller endrede sider.

Hvordan sørger jeg for at brannmuren ikke blokkerer Perplexity

Botbeskyttelse behandler ofte alle forespørsler som ikke kommer fra en nettleser, som mistenkelige. Hent siden din med hver Perplexity-user agent og sammenlign svaret med en nettleserforespørsel. Hvis crawleren får en 403, en 429 eller en utfordringsside, legger du til en tillatelsesregel som matcher token og helst også de publiserte IP-områdene, slik at bare ekte Perplexity-trafikk slipper gjennom. I Cloudflare lister AI Crawl Control AI-crawlere med handlingen Allow eller Block for hver.

Verifiser i stedet for å stole på user agent. Hvem som helst kan sende en forespørsel som sier PerplexityBot, så en tillatelsesregel som bare bygger på user agent, slipper også inn imitatorer, og en blokkering basert på den kan omgås. Å sjekke kilde-IP-en mot Perplexitys publiserte lister gjør begge typer regler pålitelige.

AISeeWhy tester PerplexityBot og Perplexity-User sammen med 12 andre crawlere. Fordi begge avgjør om Perplexity kan bruke siden din i et svar, rapporteres en blokkering av en av dem som P1, med regelen som fikser det.

Vanlige spørsmål

Bruker Perplexity innholdet mitt til å trene AI-modeller?

Perplexity sier at verken PerplexityBot eller Perplexity-User brukes til å samle inn innhold for å trene AI-grunnmodeller.

Hvorfor ignorerer Perplexity-User robots.txt?

Perplexitys resonnement er at en bruker har bedt om siden, så hentingen skjer på vegne av brukeren i stedet for som automatisk crawling. Dokumentasjonen sier at henteren av den grunnen vanligvis ignorerer robots.txt.

Hvordan blokkerer jeg Perplexity-User hvis jeg må?

Bruk brannmuren eller CDN-en og match user agent-token og Perplexitys publiserte IP-områder. robots.txt er ikke en pålitelig kontroll for denne agenten.

Hvor lang tid tar det før en robots.txt-endring trer i kraft?

Perplexity sier at det kan ta opptil 24 timer før systemene deres gjenspeiler endringer.

Hindrer en blokkering av PerplexityBot Perplexity i å bruke innholdet mitt helt?

Nei. Den holder sidene dine utenfor crawlingen til Perplexitys søkeindeks, men Perplexity-User kan fortsatt hente en side når en bruker spør om den, fordi denne henteren vanligvis ignorerer robots.txt.

Kilder

Flere artikler