Crawlery Perplexity: PerplexityBot a Perplexity-User

Publikované · Aktualizované

Krátka odpoveď

Perplexity používa PerplexityBot na zobrazovanie a odkazovanie webov vo svojich výsledkoch vyhľadávania a Perplexity-User na návštevy stránok, keď ich potrebuje otázka používateľa. Perplexity uvádza, že PerplexityBot sa riadi súborom robots.txt a nepoužíva sa na trénovanie základných modelov, kým Perplexity-User robots.txt spravidla ignoruje, pretože stiahnutie si vyžiadal používateľ. Ak nechcete, aby vyhľadávanie Perplexity používalo vaše stránky, zakážte PerplexityBot v robots.txt; na zastavenie Perplexity-User použite pravidlo firewallu podľa jeho zverejnených rozsahov IP.

Perplexity je postavené na citáciách: odpovede prichádzajú s očíslovanými odkazmi na stránky, z ktorých čerpajú. Jeho dokumentácia crawlerov je krátka a jasne uvádza, ktorý agent sa riadi súborom robots.txt a ktorý nie. Tento rozdiel rozhoduje o tom, aký nástroj použijete, ak chcete ktoréhokoľvek z nich riadiť.

Na tejto stránke
  1. Čo robí PerplexityBot?
  2. Čo robí Perplexity-User?
  3. Čo robots.txt riadi a čo nie?
  4. Čím sa Perplexity líši od ChatGPT a Claude?
  5. Aký robots.txt použiť pre Perplexity?
  6. Ako zabezpečiť, aby firewall Perplexity neblokoval?

Čo robí PerplexityBot?

PerplexityBot slúži na zobrazovanie a odkazovanie webov vo výsledkoch vyhľadávania Perplexity. Perplexity uvádza, že sa nepoužíva na prechádzanie obsahu pre základné modely AI. Ak sa chcete zobrazovať vo výsledkoch vyhľadávania Perplexity, Perplexity odporúča povoliť PerplexityBot v robots.txt.

Perplexity dokumentuje tohto user agenta:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Číslo verzie sa môže zmeniť, preto by pravidlá firewallu mali porovnávať token PerplexityBot. Perplexity zverejňuje rozsahy IP na perplexity.ai/perplexitybot.json.

Čo robí Perplexity-User?

Perplexity-User podporuje akcie používateľov. Keď sa niekto Perplexity na niečo spýta, môže navštíviť webovú stránku, aby pomohol dať presnú odpoveď, a pridať na ňu odkaz. Perplexity uvádza, že sa nepoužíva na prechádzanie webu ani na zber tréningových dát.

Jeho zdokumentovaný user agent je Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) a jeho rozsahy IP sú zverejnené na perplexity.ai/perplexity-user.json.

Čo robots.txt riadi a čo nie?

Toto je kľúčový bod. Perplexity uvádza, že keďže stiahnutie si vyžiadal používateľ, Perplexity-User pravidlá robots.txt spravidla ignoruje. Skupina v robots.txt pre PerplexityBot ovplyvňuje indexovanie pre vyhľadávanie; živé sťahovanie v mene používateľa spoľahlivo nezastaví.

Perplexity uvádza, že každé nastavenie robots.txt funguje nezávisle a že prejavenie zmien môže trvať až 24 hodín.

Čím sa Perplexity líši od ChatGPT a Claude?

Všetci traja dodávatelia oddeľujú vyhľadávací crawler od fetchera na žiadosť používateľa. Perplexity odlišujú dva detaily. Po prvé, neprevádzkuje samostatný tréningový crawler: uvádza, že PerplexityBot sa nepoužíva na prechádzanie obsahu pre základné modely AI, takže neexistuje tréningový token, o ktorom by ste rozhodovali. Po druhé, výslovne uvádza, že jeho používateľský fetcher robots.txt spravidla ignoruje, kým OpenAI uvádza, že na ChatGPT-User sa robots.txt nemusí vzťahovať, a Anthropic uvádza, že jeho boty vrátane Claude-User robots.txt rešpektujú.

V praxi to znamená jedno rozhodnutie pre vyhľadávací crawler Perplexity v robots.txt a rozhodnutie vo firewalle, ak by ste niekedy chceli zastaviť sťahovanie na žiadosť používateľa.

Aký robots.txt použiť pre Perplexity?

Ak chcete byť citovaní, povoľte vyhľadávací crawler výslovne. Pamätajte, že pomenovaná skupina nededí pravidlá od *, preto súkromné cesty zopakujte:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Keďže PerplexityBot nie je tréningový crawler, jeho blokovanie s cieľom odmietnuť trénovanie modelov by vás stálo viditeľnosť vo vyhľadávaní a tento cieľ by nesplnilo.

Ak v robots.txt uvádzate sitemapu, riadok Sitemap: majte mimo akejkoľvek skupiny alebo na konci súboru; platí pre všetky crawlery. Uistite sa tiež, že samotnú sitemapu neblokuje váš firewall, pretože crawler, ktorý ju nedokáže stiahnuť, ju nemôže použiť na nájdenie nových alebo zmenených stránok.

Ako zabezpečiť, aby firewall Perplexity neblokoval?

Ochrana proti botom často považuje každú požiadavku mimo prehliadača za podozrivú. Stiahnite svoju stránku s každým user agentom Perplexity a porovnajte odpoveď s požiadavkou prehliadača. Ak crawler dostane 403, 429 alebo overovaciu stránku, pridajte povoľovacie pravidlo, ktoré porovnáva token a ideálne aj zverejnené rozsahy IP, aby prešla len skutočná prevádzka Perplexity. V Cloudflare uvádza AI Crawl Control AI crawlery s akciou Allow alebo Block pre každý z nich.

User agenta overujte, neverte mu. Ktokoľvek môže poslať požiadavku s PerplexityBot, takže povoľovacie pravidlo založené len na user agentovi pustí aj napodobňovateľov a blok založený naň sa dá obísť. Kontrola zdrojovej IP voči zoznamom, ktoré Perplexity zverejňuje, robí oba druhy pravidiel spoľahlivými.

AISeeWhy testuje PerplexityBot a Perplexity-User popri 12 ďalších crawleroch. Keďže oba rozhodujú, či Perplexity môže vašu stránku použiť v odpovedi, blokovanie ktoréhokoľvek z nich sa hlási ako P1 s pravidlom, ktoré ho opraví.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Používa Perplexity môj obsah na trénovanie modelov AI?

Perplexity uvádza, že ani PerplexityBot, ani Perplexity-User sa nepoužívajú na zber obsahu na trénovanie základných modelov AI.

Prečo Perplexity-User ignoruje robots.txt?

Perplexity to zdôvodňuje tým, že o stránku požiadal používateľ, takže stiahnutie koná v jeho mene, a nie ako automatické prechádzanie. Jeho dokumentácia uvádza, že fetcher z tohto dôvodu robots.txt spravidla ignoruje.

Ako zablokovať Perplexity-User, ak to potrebujem?

Použite firewall alebo CDN a porovnávajte token user agenta a zverejnené rozsahy IP Perplexity. robots.txt nie je pre tohto agenta spoľahlivá kontrola.

Ako dlho trvá, kým sa zmena robots.txt prejaví?

Perplexity uvádza, že prejavenie zmien v jeho systémoch môže trvať až 24 hodín.

Zastaví blokovanie PerplexityBot úplne používanie môjho obsahu v Perplexity?

Nie. Vyradí vaše stránky z prechádzania pre index vyhľadávania Perplexity, no Perplexity-User môže stránku stále stiahnuť, keď sa na ňu používateľ spýta, pretože tento fetcher robots.txt spravidla ignoruje.

Zdroje

Ďalšie články