Perplexity краулерлері: PerplexityBot және Perplexity-User

Жарияланды · Жаңартылды

Қысқа жауап

Perplexity PerplexityBot арқылы өз іздеу нәтижелерінде сайттарды көрсетіп, оларға сілтеме береді, ал Perplexity-User арқылы пайдаланушы сұрағына қажет болғанда беттерге кіреді. Perplexity PerplexityBot robots.txt-ті сақтайтынын және базалық модельдерді оқытуға пайдаланылмайтынын, ал Perplexity-User сұрауды пайдаланушы жасағандықтан, әдетте robots.txt-ті елемейтінін айтады. Perplexity іздеуі беттеріңізді пайдаланбауы үшін robots.txt-те PerplexityBot агентіне тыйым салыңыз; Perplexity-User агентін тоқтату үшін оның жарияланған IP ауқымдарына сәйкестендірілген файрвол ережесін пайдаланыңыз.

Perplexity сілтемелерге негізделген: жауаптар олар сүйенетін беттерге нөмірленген сілтемелермен бірге беріледі. Оның краулер құжаттамасы қысқа және қай агент robots.txt-ті сақтайтынын, қайсысы сақтамайтынын анық айтады. Біреуін басқарғыңыз келсе, қай құралды пайдаланатыныңызды осы айырмашылық шешеді.

Осы бетте
  1. PerplexityBot не істейді?
  2. Perplexity-User не істейді?
  3. robots.txt нені басқарады, нені басқармайды?
  4. Perplexity ChatGPT мен Claude-тан немен ерекшеленеді?
  5. Perplexity үшін қандай robots.txt пайдалану керек?
  6. Файрвол Perplexity-ді бұғаттамайтынына қалай көз жеткізуге болады?

PerplexityBot не істейді?

PerplexityBot Perplexity іздеу нәтижелерінде сайттарды көрсетуге және оларға сілтеме беруге арналған. Perplexity оның ЖИ базалық модельдері үшін мазмұн жинауға пайдаланылмайтынын айтады. Perplexity іздеу нәтижелерінде көріну үшін Perplexity robots.txt-те PerplexityBot өткізуді ұсынады.

Perplexity мына user agent-ті құжаттайды:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Нұсқа нөмірі өзгеруі мүмкін, сондықтан файрвол ережелері PerplexityBot токені бойынша сәйкестенуі керек. Perplexity IP ауқымдарын perplexity.ai/perplexitybot.json мекенжайында жариялайды.

Perplexity-User не істейді?

Perplexity-User пайдаланушы әрекеттеріне қызмет етеді. Біреу Perplexity-ге сұрақ қойғанда, ол дәл жауап беруге көмектесу үшін веб-бетке кіріп, сол бетке сілтеме қоса алады. Perplexity оның вебті краулинг жасауға немесе оқыту деректерін жинауға пайдаланылмайтынын айтады.

Оның құжатталған user agent-і — Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), ал IP ауқымдары perplexity.ai/perplexity-user.json мекенжайында жарияланған.

robots.txt нені басқарады, нені басқармайды?

Бұл — басты мәселе. Perplexity сұрауды пайдаланушы жасағандықтан, Perplexity-User әдетте robots.txt ережелерін елемейтінін айтады. PerplexityBot үшін robots.txt тобы іздеу үшін индекстеуге әсер етеді; ол пайдаланушы атынан жасалатын тікелей кірулерді сенімді түрде тоқтатпайды.

Perplexity robots.txt-тегі әр баптау тәуелсіз жұмыс істейтінін және өзгерістердің көрінуіне 24 сағатқа дейін кетуі мүмкін екенін айтады.

Perplexity ChatGPT мен Claude-тан немен ерекшеленеді?

Үш жеткізуші де іздеу краулерін пайдаланушы сұрайтын агенттен бөледі. Perplexity-ді екі жайт ерекшелейді. Біріншіден, оның бөлек оқыту краулері жоқ: ол PerplexityBot ЖИ базалық модельдері үшін мазмұн жинауға пайдаланылмайды дейді, сондықтан таңдау жасайтын оқыту токені жоқ. Екіншіден, ол пайдаланушы агенті әдетте robots.txt-ті елемейтінін ашық айтады, ал OpenAI ChatGPT-User агентіне robots.txt қолданылмауы мүмкін дейді, Anthropic өз боттары, оның ішінде Claude-User, robots.txt-ті сақтайды дейді.

Іс жүзінде бұл robots.txt-те Perplexity іздеу краулері үшін бір шешім, ал пайдаланушы сұраған кірулерді тоқтатқыңыз келсе, файрвол шешімі дегенді білдіреді.

Perplexity үшін қандай robots.txt пайдалану керек?

Сілтеме алғыңыз келсе, іздеу краулерін анық рұқсат етіңіз. Аталған топ * тобынан ережелерді мұраға алмайтынын есте сақтап, жеке жолдарды қайталаңыз:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

PerplexityBot оқыту краулері болмағандықтан, модельді оқытудан бас тарту үшін оны бұғаттау сол мақсатқа жеткізбей, іздеудегі көрінуіңізді ғана азайтады.

robots.txt-те sitemap көрсетсеңіз, Sitemap: жолын кез келген топтан тыс немесе файлдың соңында ұстаңыз; ол барлық краулерлерге қолданылады. Сондай-ақ sitemap-тың өзін файрвол бұғаттамайтынына көз жеткізіңіз, себебі оны ала алмайтын краулер жаңа немесе өзгерген беттерді табу үшін оны пайдалана алмайды.

Файрвол Perplexity-ді бұғаттамайтынына қалай көз жеткізуге болады?

Бот қорғанысы браузерден келмеген кез келген сұрауды күдікті деп санайды. Бетіңізді Perplexity-дің әр user agent-імен сұрап, жауапты браузер сұрауымен салыстырыңыз. Краулер 403, 429 немесе тексеру бетін алса, токенге және мүмкіндігінше жарияланған IP ауқымдарына сәйкес келетін рұқсат ережесін қосыңыз, сонда тек нақты Perplexity трафигі өтеді. Cloudflare-де AI Crawl Control ЖИ краулерлерін әрқайсысына Allow немесе Block әрекетімен тізімдейді.

User agent-ке сенбей, растаңыз. Кез келген адам PerplexityBot деп жазылған сұрау жібере алады, сондықтан тек user agent-ке негізделген рұқсат ережесі еліктеушілерді де өткізеді, ал оған негізделген бұғаттауды айналып өтуге болады. Бастапқы IP-ді Perplexity жариялаған тізімдермен тексеру екі ереже түрін де сенімді етеді.

AISeeWhy PerplexityBot пен Perplexity-User агенттерін тағы 12 краулермен бірге тексереді. Екеуі де Perplexity бетіңізді жауапта пайдалана ала ма, соны шешетіндіктен, кез келгенінің бұғатталуы түзету ережесімен бірге P1 ретінде көрсетіледі.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Perplexity мазмұнымды ЖИ модельдерін оқытуға пайдалана ма?

Perplexity PerplexityBot те, Perplexity-User те ЖИ базалық модельдерін оқыту үшін мазмұн жинауға пайдаланылмайтынын айтады.

Неге Perplexity-User robots.txt-ті елемейді?

Perplexity-дің дәлелі: бетті пайдаланушы сұраған, сондықтан сұрау автоматты краулинг ретінде емес, сол пайдаланушының атынан жасалады. Оның құжаттамасында осы себепті агент әдетте robots.txt-ті елемейтіні айтылған.

Қажет болса, Perplexity-User-ді қалай бұғаттауға болады?

Файрвол немесе CDN-ді пайдаланып, user agent токені мен Perplexity жариялаған IP ауқымдарына сәйкестендіріңіз. Бұл агент үшін robots.txt сенімді құрал емес.

robots.txt өзгерісінің қолданылуына қанша уақыт кетеді?

Perplexity оның жүйелеріне өзгерістерді көрсету үшін 24 сағатқа дейін қажет болуы мүмкін дейді.

PerplexityBot-ты бұғаттау Perplexity-дің мазмұнымды пайдалануын толық тоқтата ма?

Жоқ. Ол беттеріңізді Perplexity іздеу индексіне арналған краулингтен шығарады, бірақ пайдаланушы бет туралы сұрағанда Perplexity-User оны бәрібір ала алады, себебі бұл агент әдетте robots.txt-ті елемейді.

Дереккөздер

Басқа мақалалар