AISeeWhy
DA
Start gratis prøveperiode

Perplexitys crawlere: PerplexityBot og Perplexity-User

Udgivet

Kort svar

Perplexity bruger PerplexityBot til at vise og linke til websites i sine søgeresultater og Perplexity-User til at besøge sider, når en brugers spørgsmål kræver det. Perplexity siger, at PerplexityBot følger robots.txt og ikke bruges til at træne foundation-modeller, mens Perplexity-User generelt ignorerer robots.txt, fordi en bruger har bedt om hentningen.

Perplexity er bygget op omkring kildehenvisninger: Svarene kommer med nummererede links til de sider, de bygger på. Dets crawlerdokumentation er kort og siger klart, hvilken agent der følger robots.txt, og hvilken der ikke gør. Den forskel afgør, hvilket værktøj du bruger, hvis du vil styre en af dem.

På denne side
  1. Hvad gør PerplexityBot?
  2. Hvad gør Perplexity-User?
  3. Hvad styrer robots.txt, og hvad styrer den ikke?
  4. Hvordan adskiller Perplexity sig fra ChatGPT og Claude?
  5. Hvilken robots.txt skal jeg bruge til Perplexity?
  6. Hvordan sikrer jeg, at firewallen ikke blokerer Perplexity?

Hvad gør PerplexityBot?

PerplexityBot er designet til at vise og linke til websites i Perplexitys søgeresultater. Perplexity siger, at den ikke bruges til at crawle indhold til AI-foundation-modeller. For at blive vist i Perplexitys søgeresultater anbefaler Perplexity at tillade PerplexityBot i robots.txt.

Perplexity dokumenterer denne user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Versionsnummeret kan ændre sig, så firewallregler bør matche på tokenet PerplexityBot. Perplexity offentliggør IP-intervallerne på perplexity.ai/perplexitybot.json.

Hvad gør Perplexity-User?

Perplexity-User understøtter brugerhandlinger. Når nogen stiller Perplexity et spørgsmål, kan den besøge en webside for at give et nøjagtigt svar og inkludere et link til siden. Perplexity siger, at den ikke bruges til at crawle nettet eller indsamle træningsdata.

Dens dokumenterede user agent er Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), og dens IP-intervaller er offentliggjort på perplexity.ai/perplexity-user.json.

Hvad styrer robots.txt, og hvad styrer den ikke?

Det er hovedpointen. Perplexity oplyser, at Perplexity-User generelt ignorerer robots.txt-regler, fordi en bruger har bedt om hentningen. En robots.txt-gruppe for PerplexityBot påvirker indekseringen til søgning; den stopper ikke pålideligt live-hentninger på en brugers vegne.

Perplexity siger, at hver robots.txt-indstilling virker uafhængigt, og at ændringer kan tage op til 24 timer om at slå igennem.

Hvordan adskiller Perplexity sig fra ChatGPT og Claude?

Alle tre leverandører adskiller en søgecrawler fra en henter, der svarer på brugeranmodninger. To detaljer adskiller Perplexity. For det første kører den ikke en separat træningscrawler: Den siger, at PerplexityBot ikke bruges til at crawle indhold til AI-foundation-modeller, så der er intet træningstoken at tage stilling til. For det andet er den tydelig på, at dens brugerhenter generelt ignorerer robots.txt, hvor OpenAI siger, at robots.txt muligvis ikke gælder for ChatGPT-User, og Anthropic siger, at dets bots, inklusive Claude-User, overholder robots.txt.

I praksis betyder det én beslutning om Perplexitys søgecrawler i robots.txt og en firewallbeslutning, hvis du nogensinde vil stoppe brugerstartede hentninger.

Hvilken robots.txt skal jeg bruge til Perplexity?

Hvis du vil citeres, så tillad søgecrawleren udtrykkeligt. Husk, at en navngiven gruppe ikke arver regler fra *, så gentag eventuelle private stier:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Da PerplexityBot ikke er en træningscrawler, ville det at blokere den for at fravælge modeltræning koste dig synlighed i søgning uden at tjene det mål.

Hvis du angiver et sitemap i robots.txt, så placér linjen Sitemap: uden for enhver gruppe eller sidst i filen; den gælder for alle crawlere. Sørg også for, at selve sitemappet ikke blokeres af din firewall, for en crawler, der ikke kan hente det, kan ikke bruge det til at finde nye eller ændrede sider.

Hvordan sikrer jeg, at firewallen ikke blokerer Perplexity?

Bot-beskyttelse behandler ofte enhver forespørgsel, der ikke kommer fra en browser, som mistænkelig. Hent din side med hver Perplexity-user agent, og sammenlign svaret med en browserforespørgsel. Hvis crawleren får en 403, en 429 eller en udfordringsside, så tilføj en tillad-regel, der matcher tokenet og helst de offentliggjorte IP-intervaller, så kun ægte Perplexity-trafik slipper igennem. I Cloudflare viser AI Crawl Control AI-crawlere med en Allow- eller Block-handling for hver.

Verificér i stedet for at stole på user agent'en. Enhver kan sende en forespørgsel, der siger PerplexityBot, så en tillad-regel baseret alene på user agent'en lukker også efterlignere ind, og en blokering baseret på den kan omgås. Når kilde-IP'en kontrolleres mod Perplexitys offentliggjorte lister, bliver begge slags regler pålidelige.

AISeeWhy tester PerplexityBot og Perplexity-User sammen med 12 andre crawlere. Fordi begge afgør, om Perplexity kan bruge din side i et svar, rapporteres en blokering af en af dem som P1, med reglen til at rette den.

Ofte stillede spørgsmål

Bruger Perplexity mit indhold til at træne AI-modeller?

Perplexity siger, at hverken PerplexityBot eller Perplexity-User bruges til at indsamle indhold til træning af AI-foundation-modeller.

Hvorfor ignorerer Perplexity-User robots.txt?

Perplexitys begrundelse er, at en bruger har bedt om siden, så hentningen sker på brugerens vegne og ikke som automatisk crawling. Dens dokumentation siger, at henteren af den grund generelt ignorerer robots.txt.

Hvordan kan jeg blokere Perplexity-User, hvis jeg har brug for det?

Brug din firewall eller dit CDN, og match på user agent-tokenet og Perplexitys offentliggjorte IP-intervaller. robots.txt er ikke en pålidelig kontrol for denne agent.

Hvor lang tid tager det, før en robots.txt-ændring slår igennem?

Perplexity siger, at det kan tage op til 24 timer, før dets systemer afspejler ændringer.

Stopper det Perplexity i at bruge mit indhold overhovedet at blokere PerplexityBot?

Nej. Det holder dine sider ude af crawlingen til Perplexitys søgeindeks, men Perplexity-User kan stadig hente en side, når en bruger spørger om den, fordi den agent generelt ignorerer robots.txt.

Kilder

Flere artikler