Perplexity robotai: PerplexityBot ir Perplexity-User

Paskelbta · Atnaujinta

Trumpas atsakymas

Perplexity naudoja PerplexityBot svetainėms rodyti ir susieti savo paieškos rezultatuose, o Perplexity-User – puslapiams aplankyti, kai jų reikia naudotojo klausimui. Perplexity teigia, kad PerplexityBot paiso robots.txt ir nenaudojamas baziniams modeliams mokyti, o Perplexity-User paprastai nepaiso robots.txt, nes atsisiųsti paprašė naudotojas. Kad Perplexity paieška nenaudotų jūsų puslapių, uždrauskite PerplexityBot robots.txt; norėdami sustabdyti Perplexity-User, naudokite ugniasienės taisyklę, susietą su jo paskelbtais IP intervalais.

Perplexity sukurta aplink citatas: atsakymai pateikiami su sunumeruotomis nuorodomis į puslapius, kuriais remiamasi. Jos robotų dokumentacija trumpa ir aiškiai nurodo, kuris agentas paiso robots.txt, o kuris ne. Šis skirtumas lemia, kokią priemonę naudoti, jei norite valdyti kurį nors iš jų.

Šiame puslapyje
  1. Ką daro PerplexityBot?
  2. Ką daro Perplexity-User?
  3. Ką valdo robots.txt, o ko ne?
  4. Kuo Perplexity skiriasi nuo ChatGPT ir Claude?
  5. Kokį robots.txt naudoti Perplexity?
  6. Kaip užtikrinti, kad ugniasienė neblokuotų Perplexity?

Ką daro PerplexityBot?

PerplexityBot skirtas svetainėms rodyti ir susieti Perplexity paieškos rezultatuose. Perplexity teigia, kad jis nenaudojamas turiniui DI baziniams modeliams rinkti. Norint pasirodyti Perplexity paieškos rezultatuose, Perplexity rekomenduoja įleisti PerplexityBot robots.txt.

Perplexity dokumentuoja šį user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Versijos numeris gali keistis, todėl ugniasienės taisyklės turėtų tikrinti žymenį PerplexityBot. Perplexity skelbia IP intervalus adresu perplexity.ai/perplexitybot.json.

Ką daro Perplexity-User?

Perplexity-User palaiko naudotojų veiksmus. Kai kas nors užduoda Perplexity klausimą, jis gali aplankyti tinklalapį, kad padėtų pateikti tikslų atsakymą, ir įtraukti nuorodą į tą puslapį. Perplexity teigia, kad jis nenaudojamas interneto nuskaitymui ar mokymo duomenims rinkti.

Jo dokumentuotas user agent yra Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), o IP intervalai skelbiami adresu perplexity.ai/perplexity-user.json.

Ką valdo robots.txt, o ko ne?

Tai esminis dalykas. Perplexity teigia, kad kadangi atsisiųsti paprašė naudotojas, Perplexity-User paprastai nepaiso robots.txt taisyklių. robots.txt grupė PerplexityBot veikia indeksavimą paieškai; ji patikimai nesustabdo atsisiuntimų realiuoju laiku naudotojo vardu.

Perplexity teigia, kad kiekvienas robots.txt nustatymas veikia nepriklausomai ir kad pakeitimai gali įsigalioti per 24 valandas.

Kuo Perplexity skiriasi nuo ChatGPT ir Claude?

Visi trys tiekėjai atskiria paieškos robotą nuo naudotojo prašomo atsisiuntimo agento. Perplexity išsiskiria dviem detalėmis. Pirma, ji neturi atskiro mokymo roboto: teigia, kad PerplexityBot nenaudojamas turiniui DI baziniams modeliams rinkti, todėl nėra mokymo žymens, dėl kurio reikėtų spręsti. Antra, ji aiškiai nurodo, kad jos naudotojų agentas paprastai nepaiso robots.txt, o OpenAI teigia, kad robots.txt ChatGPT-User gali negalioti, ir Anthropic teigia, kad jos robotai, įskaitant Claude-User, paiso robots.txt.

Praktiškai tai reiškia vieną sprendimą dėl Perplexity paieškos roboto robots.txt ir ugniasienės sprendimą, jei kada nors norėsite sustabdyti naudotojų prašomus atsisiuntimus.

Kokį robots.txt naudoti Perplexity?

Jei norite būti cituojami, aiškiai įleiskite paieškos robotą. Atminkite, kad pavadinta grupė nepaveldi taisyklių iš *, todėl pakartokite privačius kelius:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Kadangi PerplexityBot nėra mokymo robotas, jo blokavimas siekiant atsisakyti modelių mokymo kainuotų matomumą paieškoje, o to tikslo nepasiektų.

Jei robots.txt nurodote sitemap, Sitemap: eilutę laikykite už bet kurios grupės ribų arba failo pabaigoje; ji taikoma visiems robotams. Taip pat įsitikinkite, kad pats sitemap neblokuojamas jūsų ugniasienės, nes robotas, negalintis jo atsisiųsti, negali juo naudotis naujiems ar pakeistiems puslapiams rasti.

Kaip užtikrinti, kad ugniasienė neblokuotų Perplexity?

Apsauga nuo robotų dažnai bet kokią ne naršyklės užklausą laiko įtartina. Paprašykite puslapio su kiekvienu Perplexity user agent ir palyginkite atsakymą su naršyklės užklausa. Jei robotas gauna 403, 429 ar patikrinimo puslapį, pridėkite leidimo taisyklę, tikrinančią žymenį ir, geriausia, paskelbtus IP intervalus, kad praeitų tik tikras Perplexity srautas. Cloudflare AI Crawl Control rodo DI robotus su veiksmu Allow arba Block kiekvienam.

User agent tikrinkite, o ne juo pasitikėkite. Bet kas gali išsiųsti užklausą, kurioje parašyta PerplexityBot, todėl leidimo taisyklė, paremta vien user agent, įleidžia ir apsimetėlius, o juo paremtą blokavimą galima apeiti. Šaltinio IP tikrinimas pagal paskelbtus Perplexity sąrašus padaro abiejų rūšių taisykles patikimas.

AISeeWhy testuoja PerplexityBot ir Perplexity-User kartu su dar 12 robotų. Kadangi abu lemia, ar Perplexity gali panaudoti jūsų puslapį atsakyme, bet kurio blokavimas pranešamas kaip P1 su taisykle jam ištaisyti.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Ar Perplexity naudoja mano turinį DI modeliams mokyti?

Perplexity teigia, kad nei PerplexityBot, nei Perplexity-User nenaudojami turiniui DI baziniams modeliams mokyti rinkti.

Kodėl Perplexity-User nepaiso robots.txt?

Perplexity argumentas – puslapio paprašė naudotojas, todėl atsisiuntimas atliekamas to naudotojo vardu, o ne kaip automatinis nuskaitymas. Jos dokumentacijoje rašoma, kad dėl šios priežasties šis agentas paprastai nepaiso robots.txt.

Kaip užblokuoti Perplexity-User, jei reikia?

Naudokite ugniasienę ar CDN, tikrindami user agent žymenį ir paskelbtus Perplexity IP intervalus. robots.txt šiam agentui nėra patikima priemonė.

Per kiek laiko įsigalioja robots.txt pakeitimas?

Perplexity teigia, kad jos sistemoms pakeitimams pritaikyti gali prireikti iki 24 valandų.

Ar PerplexityBot blokavimas visiškai sustabdys Perplexity naudojimąsi mano turiniu?

Ne. Jis neleidžia nuskaityti jūsų puslapių Perplexity paieškos indeksui, bet Perplexity-User vis tiek gali atsisiųsti puslapį, kai naudotojas apie jį klausia, nes šis agentas paprastai nepaiso robots.txt.

Šaltiniai

Daugiau straipsnių