Краулери Perplexity-ја: PerplexityBot и Perplexity-User
Perplexity користи PerplexityBot да приказује и линкује сајтове у својим резултатима претраге, а Perplexity-User да посећује странице када су потребне за питање корисника. Perplexity каже да PerplexityBot поштује robots.txt и да се не користи за обуку основних модела, док Perplexity-User углавном занемарује robots.txt јер је преузимање затражио корисник. Да Perplexity претрага не би користила ваше странице, забраните PerplexityBot у robots.txt; да бисте зауставили Perplexity-User, користите правило заштитног зида везано за његове објављене IP опсеге.
Perplexity је изграђен око цитата: одговори долазе са нумерисаним линковима ка страницама на које се ослањају. Његова документација о краулерима је кратка и јасно наводи који агент поштује robots.txt, а који не. Та разлика одлучује који алат користите ако желите да контролишете било који од њих.
На овој страници
Шта ради PerplexityBot?
PerplexityBot служи да приказује и линкује сајтове у резултатима претраге Perplexity-ја. Perplexity каже да се не користи за прикупљање садржаја за основне AI моделе. Да бисте се појавили у резултатима претраге Perplexity-ја, Perplexity препоручује да дозволите PerplexityBot у robots.txt.
Perplexity документује овај user agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Број верзије се може променити, па правила заштитног зида треба да поклапају токен PerplexityBot. Perplexity објављује IP опсеге на perplexity.ai/perplexitybot.json.
Шта ради Perplexity-User?
Perplexity-User подржава радње корисника. Када неко постави питање Perplexity-ју, може да посети веб страницу да би помогао да одговор буде тачан и да укључи линк ка тој страници. Perplexity каже да се не користи за обилажење веба нити за прикупљање података за обуку.
Његов документовани user agent је Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), а његови IP опсези су објављени на perplexity.ai/perplexity-user.json.
Шта robots.txt контролише, а шта не?
Ово је кључна ствар. Perplexity наводи да, пошто је преузимање затражио корисник, Perplexity-User углавном занемарује robots.txt правила. Група у robots.txt за PerplexityBot утиче на индексирање за претрагу; не зауставља поуздано преузимања уживо у име корисника.
- Забраните
PerplexityBotу robots.txt: ваше странице се не обилазе за индекс претраге Perplexity-ја, па је мање вероватно да ће бити приказане и линковане. - Забраните
Perplexity-Userу robots.txt: према документацији Perplexity-ја, овај агент то углавном занемарује, па то није поуздана контрола. - Блокирате
Perplexity-Userу заштитном зиду: преузимање не успева, а корисници који питају о вашој страници добијају одговор без ње. - Дозволите оба: Perplexity може да индексира ваше странице и да их чита уживо када корисник пита.
Perplexity каже да свако robots.txt подешавање ради независно и да промене могу да се примене тек након 24 сата.
По чему се Perplexity разликује од ChatGPT-а и Claude-а?
Све три компаније раздвајају краулер за претрагу од преузимача на захтев корисника. Два детаља издвајају Perplexity. Прво, не покреће засебан краулер за обуку: каже да се PerplexityBot не користи за прикупљање садржаја за основне AI моделе, па нема токена за обуку о коме треба одлучити. Друго, изричито каже да његов кориснички преузимач углавном занемарује robots.txt, док OpenAI каже да се robots.txt на ChatGPT-User можда не примењује, а Anthropic каже да његови ботови, укључујући Claude-User, поштују robots.txt.
У пракси то значи једну одлуку о краулеру за претрагу Perplexity-ја у robots.txt и одлуку у заштитном зиду ако икада пожелите да зауставите преузимања на захтев корисника.
Који robots.txt да користим за Perplexity?
Ако желите да будете цитирани, изричито дозволите краулер за претрагу. Имајте на уму да именована група не наслеђује правила од *, па поновите све приватне путање:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Пошто PerplexityBot није краулер за обуку, његово блокирање ради искључења из обуке модела коштало би вас видљивости у претрази, а не би служило том циљу.
Ако у robots.txt наводите мапу сајта, ред Sitemap: држите изван сваке групе или на крају фајла; важи за све краулере. Уверите се и да ваш заштитни зид не блокира саму мапу сајта, јер краулер који не може да је преузме не може ни да је користи за проналажење нових или измењених страница.
Како да се уверим да заштитни зид не блокира Perplexity?
Заштита од ботова често сваки захтев који не долази из прегледача сматра сумњивим. Затражите своју страницу са сваким Perplexity user agent-ом и упоредите одговор са захтевом прегледача. Ако краулер добије 403, 429 или страницу са изазовом, додајте правило за дозволу које поклапа токен и, идеално, објављене IP опсеге, тако да пролази само прави саобраћај Perplexity-ја. У Cloudflare-у, AI Crawl Control приказује AI краулере са радњом Allow или Block за сваки.
Проверавајте уместо да верујете user agent-у. Свако може да пошаље захтев на коме пише PerplexityBot, па правило за дозволу засновано само на user agent-у пропушта и имитаторе, а блокада заснована на њему може да се заобиђе. Провера изворне IP адресе према листама које Perplexity објављује чини обе врсте правила поузданим.
AISeeWhy тестира PerplexityBot и Perplexity-User уз још 12 краулера. Пошто оба одлучују да ли Perplexity може да користи вашу страницу у одговору, блокада било ког од њих пријављује се као P1, уз правило за исправку.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли Perplexity користи мој садржај за обуку AI модела?
Perplexity каже да се ни PerplexityBot ни Perplexity-User не користе за прикупљање садржаја за обуку основних AI модела.
Зашто Perplexity-User занемарује robots.txt?
Perplexity образлаже да је страницу затражио корисник, па преузимање делује у име тог корисника, а не као аутоматско обилажење. Његова документација каже да преузимач из тог разлога углавном занемарује robots.txt.
Како да блокирам Perplexity-User ако морам?
Користите заштитни зид или CDN, уз поклапање токена user agent-а и IP опсега које Perplexity објављује. robots.txt није поуздана контрола за овог агента.
Колико треба да се промена у robots.txt примени?
Perplexity каже да његовим системима може бити потребно до 24 сата да примене промене.
Да ли ће блокирање PerplexityBot-а потпуно спречити Perplexity да користи мој садржај?
Неће. Држи ваше странице ван обиласка за индекс претраге Perplexity-ја, али Perplexity-User и даље може да преузме страницу када корисник пита о њој, јер тај преузимач углавном занемарује robots.txt.
Извори
- Perplexity: краулери Perplexity-ја
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: управљање AI краулерима (AI Crawl Control)