AISeeWhy
SV
Starta gratis prov

Perplexitys crawlers: PerplexityBot och Perplexity-User

Publicerad

Kort svar

Perplexity använder PerplexityBot för att lyfta fram och länka webbplatser i sina sökresultat, och Perplexity-User för att besöka sidor när en användares fråga kräver det. Perplexity säger att PerplexityBot följer robots.txt och inte används för att träna grundmodeller, medan Perplexity-User i allmänhet ignorerar robots.txt eftersom en användare har begärt hämtningen.

Perplexity bygger på citeringar: svaren kommer med numrerade länkar till sidorna de bygger på. Dess dokumentation om crawlers är kort och anger tydligt vilken agent som följer robots.txt och vilken som inte gör det. Den skillnaden avgör vilket verktyg du använder om du vill kontrollera någon av dem.

På den här sidan
  1. Vad gör PerplexityBot
  2. Vad gör Perplexity-User
  3. Vad styr robots.txt, och vad styr den inte
  4. Hur skiljer sig Perplexity från ChatGPT och Claude
  5. Vilken robots.txt ska jag använda för Perplexity
  6. Hur ser jag till att brandväggen inte blockerar Perplexity

Vad gör PerplexityBot

PerplexityBot är utformad för att lyfta fram och länka webbplatser i Perplexitys sökresultat. Perplexity säger att den inte används för att samla in innehåll till AI-grundmodeller. För att synas i Perplexitys sökresultat rekommenderar Perplexity att du tillåter PerplexityBot i robots.txt.

Perplexity dokumenterar den här user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Versionsnumret kan ändras, så brandväggsregler bör matcha token PerplexityBot. Perplexity publicerar IP-intervallen på perplexity.ai/perplexitybot.json.

Vad gör Perplexity-User

Perplexity-User stöder användarens åtgärder. När någon ställer en fråga till Perplexity kan den besöka en webbsida för att ge ett korrekt svar och inkludera en länk till sidan. Perplexity säger att den inte används för att genomsöka webben eller samla in träningsdata.

Dess dokumenterade user agent är Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), och dess IP-intervall publiceras på perplexity.ai/perplexity-user.json.

Vad styr robots.txt, och vad styr den inte

Det här är huvudpoängen. Perplexity anger att Perplexity-User i allmänhet ignorerar robots.txt-regler eftersom en användare har begärt hämtningen. En robots.txt-grupp för PerplexityBot påverkar indexeringen för sök; den stoppar inte pålitligt live-hämtningar på en användares uppdrag.

Perplexity säger att varje inställning i robots.txt fungerar oberoende och att ändringar kan ta upp till 24 timmar att slå igenom.

Hur skiljer sig Perplexity från ChatGPT och Claude

Alla tre leverantörerna skiljer en sökcrawler från en användarstyrd hämtare. Två detaljer skiljer Perplexity från de andra. För det första kör de ingen separat träningscrawler: de säger att PerplexityBot inte används för att samla in innehåll till AI-grundmodeller, så det finns ingen träningstoken att ta ställning till. För det andra är de tydliga med att deras användarhämtare i allmänhet ignorerar robots.txt, medan OpenAI säger att robots.txt kanske inte gäller för ChatGPT-User och Anthropic säger att deras bottar, inklusive Claude-User, följer robots.txt.

I praktiken innebär det ett enda beslut för Perplexitys sökcrawler i robots.txt, och ett brandväggsbeslut om du någon gång vill stoppa användarbegärda hämtningar.

Vilken robots.txt ska jag använda för Perplexity

Vill du bli citerad, tillåt sökcrawlern uttryckligen. Kom ihåg att en namngiven grupp inte ärver regler från *, så upprepa alla privata sökvägar:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Eftersom PerplexityBot inte är en träningscrawler skulle du, om du blockerade den för att välja bort modellträning, förlora synlighet i sök utan att nå det målet.

Om du anger en sitemap i robots.txt, placera raden Sitemap: utanför alla grupper eller i slutet av filen; den gäller alla crawlers. Se också till att själva sitemapen inte blockeras av din brandvägg, eftersom en crawler som inte kan hämta den inte kan använda den för att hitta nya eller ändrade sidor.

Hur ser jag till att brandväggen inte blockerar Perplexity

Botskydd behandlar ofta varje begäran som inte kommer från en webbläsare som misstänkt. Hämta din sida med varje Perplexity-user agent och jämför svaret med en webbläsarbegäran. Om crawlern får en 403, en 429 eller en utmaningssida, lägg till en tillåtelseregel som matchar token och helst även de publicerade IP-intervallen, så att bara äkta Perplexity-trafik släpps igenom. I Cloudflare listar AI Crawl Control AI-crawlers med åtgärden Allow eller Block för var och en.

Verifiera i stället för att lita på user agent. Vem som helst kan skicka en begäran som säger PerplexityBot, så en tillåtelseregel som bara bygger på user agent släpper även in imitatörer, och ett block baserat på den kan kringgås. Att kontrollera käll-IP mot Perplexitys publicerade listor gör båda slagen av regler pålitliga.

AISeeWhy testar PerplexityBot och Perplexity-User tillsammans med 12 andra crawlers. Eftersom båda avgör om Perplexity kan använda din sida i ett svar rapporteras en blockering av någon av dem som P1, med regeln som åtgärdar den.

Vanliga frågor

Använder Perplexity mitt innehåll för att träna AI-modeller?

Perplexity säger att varken PerplexityBot eller Perplexity-User används för att samla in innehåll för träning av AI-grundmodeller.

Varför ignorerar Perplexity-User robots.txt?

Perplexitys resonemang är att en användare har bett om sidan, så hämtningen sker på den användarens uppdrag snarare än som automatisk genomsökning. Dokumentationen säger att hämtaren av den anledningen i allmänhet ignorerar robots.txt.

Hur blockerar jag Perplexity-User om jag behöver?

Använd din brandvägg eller CDN och matcha user agent-token och Perplexitys publicerade IP-intervall. robots.txt är ingen pålitlig kontroll för den här agenten.

Hur lång tid tar det innan en robots.txt-ändring slår igenom?

Perplexity säger att det kan ta upp till 24 timmar innan deras system återspeglar ändringar.

Hindrar en blockering av PerplexityBot Perplexity från att använda mitt innehåll helt?

Nej. Den håller dina sidor utanför genomsökningen för Perplexitys sökindex, men Perplexity-User kan fortfarande hämta en sida när en användare frågar om den, eftersom den hämtaren i allmänhet ignorerar robots.txt.

Källor

Fler artiklar