Краулерите на Perplexity: PerplexityBot и Perplexity-User

Објавено · Ажурирано

Краток одговор

Perplexity користи PerplexityBot за прикажување и поставување врски до веб-сајтови во своите резултати од пребарување, и Perplexity-User за посета на страници кога прашањето на корисник ги бара. Perplexity наведува дека PerplexityBot го почитува robots.txt и не се користи за обука на основни модели, додека Perplexity-User генерално го игнорира robots.txt затоа што преземањето го побарал корисник. За да спречите пребарувањето на Perplexity да ги користи вашите страници, забранете го PerplexityBot во robots.txt; за да го запрете Perplexity-User, користете правило во заштитниот ѕид усогласено со неговите објавени IP опсези.

Perplexity е изграден околу цитирањата: одговорите доаѓаат со нумерирани врски до страниците на кои се потпираат. Неговата документација за краулерите е кратка и јасно наведува кој агент го почитува robots.txt, а кој не. Таа разлика одлучува која алатка ќе ја користите ако сакате да контролирате кој било од нив.

На оваа страница
  1. Што прави PerplexityBot?
  2. Што прави Perplexity-User?
  3. Што контролира robots.txt, а што не?
  4. По што Perplexity се разликува од ChatGPT и Claude?
  5. Каков robots.txt да користам за Perplexity?
  6. Како да се осигурам дека заштитниот ѕид не го блокира Perplexity?

Што прави PerplexityBot?

PerplexityBot е наменет да прикажува и да поставува врски до веб-сајтови во резултатите од пребарување на Perplexity. Perplexity наведува дека не се користи за обиколување содржина за AI основни модели. За да се појавите во резултатите од пребарување на Perplexity, Perplexity препорачува да го дозволите PerplexityBot во robots.txt.

Perplexity го документира овој user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Бројот на верзијата може да се промени, па правилата на заштитниот ѕид треба да се совпаѓаат со ознаката PerplexityBot. Perplexity ги објавува IP опсезите на perplexity.ai/perplexitybot.json.

Што прави Perplexity-User?

Perplexity-User ги поддржува дејствата на корисниците. Кога некој ќе го праша Perplexity нешто, може да посети веб-страница за да помогне да се даде точен одговор и да вклучи врска до таа страница. Perplexity наведува дека не се користи за обиколување на интернетот ниту за собирање податоци за обука.

Неговиот документиран user agent е Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), а неговите IP опсези се објавени на perplexity.ai/perplexity-user.json.

Што контролира robots.txt, а што не?

Ова е клучната точка. Perplexity наведува дека, бидејќи преземањето го побарал корисник, Perplexity-User генерално ги игнорира правилата во robots.txt. Група во robots.txt за PerplexityBot влијае на индексирањето за пребарување; не ги запира сигурно преземањата во живо во име на корисник.

Perplexity наведува дека секоја поставка во robots.txt функционира независно и дека на промените може да им требаат до 24 часа да се одразат.

По што Perplexity се разликува од ChatGPT и Claude?

Сите три производители го одвојуваат краулерот за пребарување од преземачот што го бара корисникот. Две ситници го издвојуваат Perplexity. Прво, нема посебен краулер за обука: наведува дека PerplexityBot не се користи за обиколување содржина за AI основни модели, па нема ознака за обука за која треба да одлучувате. Второ, изрично наведува дека неговиот кориснички преземач генерално го игнорира robots.txt, додека OpenAI наведува дека robots.txt можеби не важи за ChatGPT-User, а Anthropic наведува дека неговите ботови, вклучително Claude-User, го почитуваат robots.txt.

Во пракса тоа значи една одлука за краулерот за пребарување на Perplexity во robots.txt, и одлука во заштитниот ѕид ако некогаш сакате да ги запрете преземањата што ги бараат корисниците.

Каков robots.txt да користам за Perplexity?

Ако сакате да бидете цитирани, дозволете го краулерот за пребарување изрично. Запомнете дека именуваната група не наследува правила од *, па повторете ги сите приватни патеки:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Бидејќи PerplexityBot не е краулер за обука, неговото блокирање за да се откажете од обуката на модели би ве чинело видливост во пребарувањето без да ја постигне таа цел.

Ако наведувате sitemap во robots.txt, држете го редот Sitemap: надвор од секоја група или на крајот на датотеката; тој важи за сите краулери. Осигурете се и дека самиот sitemap не е блокиран од вашиот заштитен ѕид, бидејќи краулер што не може да го преземе не може да го користи за да најде нови или изменети страници.

Како да се осигурам дека заштитниот ѕид не го блокира Perplexity?

Заштитата од ботови често секое барање што не е од прелистувач го смета за сомнително. Побарајте ја вашата страница со секој user agent на Perplexity и споредете го одговорот со барање од прелистувач. Ако краулерот добива 403, 429 или страница со предизвик, додадете правило за дозволување што се совпаѓа со ознаката и, по можност, со објавените IP опсези, за да поминува само вистинскиот сообраќај од Perplexity. Во Cloudflare, AI Crawl Control ги наведува AI краулерите со дејство Allow или Block за секој.

Потврдувајте наместо да му верувате на user agent-от. Секој може да испрати барање што вели PerplexityBot, па правило за дозволување засновано само на user agent-от пушта и имитатори, а блокирање засновано на него може да се избегне. Проверката на изворната IP адреса во објавените листи на Perplexity ги прави сигурни двата вида правила.

AISeeWhy ги тестира PerplexityBot и Perplexity-User заедно со уште 12 краулери. Бидејќи двата одлучуваат дали Perplexity може да ја користи вашата страница во одговор, блокирањето на кој било од нив се пријавува како P1, со правилото за поправка.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали Perplexity ја користи мојата содржина за обука на AI модели?

Perplexity наведува дека ниту PerplexityBot ниту Perplexity-User не се користат за собирање содржина за обука на AI основни модели.

Зошто Perplexity-User го игнорира robots.txt?

Образложението на Perplexity е дека корисник ја побарал страницата, па преземањето дејствува во име на тој корисник, а не како автоматско обиколување. Неговата документација наведува дека преземачот генерално го игнорира robots.txt од таа причина.

Како да го блокирам Perplexity-User ако треба?

Користете го вашиот заштитен ѕид или CDN, совпаѓајќи ги ознаката во user agent-от и објавените IP опсези на Perplexity. robots.txt не е сигурна контрола за овој агент.

Колку време треба промена во robots.txt да се примени?

Perplexity наведува дека на неговите системи може да им требаат до 24 часа за да ги одразат промените.

Дали блокирањето на PerplexityBot целосно ќе го спречи Perplexity да ја користи мојата содржина?

Не. Ги држи вашите страници надвор од обиколувањето за индексот за пребарување на Perplexity, но Perplexity-User сепак може да преземе страница кога корисник ќе праша за неа, бидејќи тој преземач генерално го игнорира robots.txt.

Извори

Уште статии