Pajki Perplexity: PerplexityBot in Perplexity-User

Objavljeno · Posodobljeno

Kratek odgovor

Perplexity uporablja PerplexityBot za prikazovanje in povezovanje spletnih mest v svojih rezultatih iskanja, Perplexity-User pa za obiske strani, ko jih potrebuje vprašanje uporabnika. Perplexity pravi, da PerplexityBot sledi robots.txt in se ne uporablja za učenje temeljnih modelov, Perplexity-User pa robots.txt na splošno ne upošteva, ker je prenos zahteval uporabnik. Če želite, da iskanje Perplexity ne uporablja vaših strani, v robots.txt prepovejte PerplexityBot; za zaustavitev Perplexity-User uporabite pravilo požarnega zidu, ki se ujema z njegovimi objavljenimi obsegi IP.

Perplexity je zgrajen okoli citatov: odgovori prihajajo z oštevilčenimi povezavami na strani, iz katerih črpajo. Njegova dokumentacija o pajkih je kratka in jasno pove, kateri agent sledi robots.txt in kateri ne. Ta razlika odloča, katero orodje uporabite, če želite nadzorovati katerega koli od njiju.

Na tej strani
  1. Kaj počne PerplexityBot?
  2. Kaj počne Perplexity-User?
  3. Kaj robots.txt nadzoruje in česa ne?
  4. Kako se Perplexity razlikuje od ChatGPT in Claude?
  5. Kakšen robots.txt naj uporabim za Perplexity?
  6. Kako poskrbim, da požarni zid ne blokira Perplexityja?

Kaj počne PerplexityBot?

PerplexityBot je namenjen prikazovanju in povezovanju spletnih mest v rezultatih iskanja Perplexity. Perplexity pravi, da se ne uporablja za pajkanje vsebine za temeljne modele UI. Za pojavljanje v rezultatih iskanja Perplexity priporoča, da PerplexityBot dovolite v robots.txt.

Perplexity dokumentira ta user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Številka različice se lahko spremeni, zato naj pravila požarnega zidu ujemajo žeton PerplexityBot. Perplexity obsege IP objavlja na perplexity.ai/perplexitybot.json.

Kaj počne Perplexity-User?

Perplexity-User podpira dejanja uporabnikov. Ko nekdo Perplexityju postavi vprašanje, lahko obišče spletno stran, da pomaga dati točen odgovor, in vključi povezavo nanjo. Perplexity pravi, da se ne uporablja za pajkanje spleta ali zbiranje podatkov za učenje.

Njegov dokumentirani user agent je Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), njegovi obsegi IP pa so objavljeni na perplexity.ai/perplexity-user.json.

Kaj robots.txt nadzoruje in česa ne?

To je ključna točka. Perplexity navaja, da Perplexity-User pravil robots.txt na splošno ne upošteva, ker je prenos zahteval uporabnik. Skupina robots.txt za PerplexityBot vpliva na indeksiranje za iskanje; prenosov v živo v imenu uporabnika ne ustavi zanesljivo.

Perplexity pravi, da vsaka nastavitev robots.txt deluje neodvisno in da lahko traja do 24 ur, preden se spremembe upoštevajo.

Kako se Perplexity razlikuje od ChatGPT in Claude?

Vsi trije ponudniki ločujejo pajka za iskanje od uporabniškega pajka. Perplexity se razlikuje v dveh podrobnostih. Prvič, nima ločenega pajka za učenje: pravi, da se PerplexityBot ne uporablja za pajkanje vsebine za temeljne modele UI, zato ni žetona za učenje, o katerem bi se morali odločiti. Drugič, izrecno pove, da njegov uporabniški pajek robots.txt na splošno ne upošteva, medtem ko OpenAI pravi, da robots.txt za ChatGPT-User morda ne velja, Anthropic pa, da njegovi boti, vključno s Claude-User, upoštevajo robots.txt.

V praksi to pomeni eno odločitev za pajka za iskanje Perplexity v robots.txt in odločitev v požarnem zidu, če boste kdaj želeli ustaviti prenose na zahtevo uporabnikov.

Kakšen robots.txt naj uporabim za Perplexity?

Če želite biti citirani, pajka za iskanje izrecno dovolite. Ne pozabite, da poimenovana skupina ne podeduje pravil iz *, zato zasebne poti ponovite:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Ker PerplexityBot ni pajek za učenje, bi vas njegovo blokiranje z namenom zavrnitve učenja modelov stalo vidnost v iskanju, tega cilja pa ne bi doseglo.

Če v robots.txt navedete zemljevid strani, vrstico Sitemap: postavite zunaj vseh skupin ali na konec datoteke; velja za vse pajke. Poskrbite tudi, da vaš požarni zid ne blokira samega zemljevida strani, saj ga pajek, ki ga ne more prenesti, ne more uporabiti za iskanje novih ali spremenjenih strani.

Kako poskrbim, da požarni zid ne blokira Perplexityja?

Zaščita pred boti pogosto vsako zahtevo, ki ne prihaja iz brskalnika, obravnava kot sumljivo. Stran zahtevajte z vsakim user agentom Perplexity in odgovor primerjajte z zahtevo brskalnika. Če pajek dobi napako 403, 429 ali stran z izzivom, dodajte pravilo za dovolitev, ki ujema žeton in po možnosti objavljene obsege IP, da skozi pride samo pravi promet Perplexity. V Cloudflaru AI Crawl Control navaja pajke UI z dejanjem Allow ali Block za vsakega.

User agent preverjajte, ne zaupajte mu. Vsakdo lahko pošlje zahtevo, ki pravi PerplexityBot, zato pravilo za dovolitev samo na podlagi user agenta spusti noter tudi posnemovalce, blokado na tej podlagi pa je mogoče zaobiti. Preverjanje izvornega naslova IP na objavljenih seznamih Perplexityja naredi obe vrsti pravil zanesljivi.

AISeeWhy preizkusi PerplexityBot in Perplexity-User skupaj z 12 drugimi pajki. Ker oba odločata, ali Perplexity lahko vašo stran uporabi v odgovoru, je blokada katerega koli od njiju sporočena s P1, skupaj s pravilom, ki jo odpravi.

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali Perplexity mojo vsebino uporablja za učenje modelov UI?

Perplexity pravi, da se niti PerplexityBot niti Perplexity-User ne uporabljata za zbiranje vsebine za učenje temeljnih modelov UI.

Zakaj Perplexity-User ne upošteva robots.txt?

Perplexity utemeljuje, da je stran zahteval uporabnik, zato prenos deluje v imenu tega uporabnika in ne kot samodejno pajkanje. Njegova dokumentacija pravi, da agent iz tega razloga robots.txt na splošno ne upošteva.

Kako lahko blokiram Perplexity-User, če je treba?

Uporabite požarni zid ali CDN, z ujemanjem žetona user agenta in objavljenih obsegov IP Perplexityja. robots.txt za tega agenta ni zanesljiv nadzor.

Koliko časa traja, da sprememba robots.txt začne veljati?

Perplexity pravi, da lahko traja do 24 ur, preden njegovi sistemi upoštevajo spremembe.

Ali blokiranje PerplexityBot Perplexityju povsem prepreči uporabo moje vsebine?

Ne. Vaše strani izloči iz pajkanja za indeks iskanja Perplexity, Perplexity-User pa lahko stran še vedno prenese, ko uporabnik vpraša o njej, ker ta agent robots.txt na splošno ne upošteva.

Viri

Več člankov