Ботовете на Perplexity: PerplexityBot и Perplexity-User
Perplexity използва PerplexityBot, за да показва и посочва с връзки уебсайтове в резултатите от търсенето си, и Perplexity-User, за да посещава страници, когато въпросът на потребител ги изисква. Perplexity казва, че PerplexityBot спазва robots.txt и не се използва за обучение на базови модели, а Perplexity-User по правило пренебрегва robots.txt, защото изтеглянето е поискано от потребител. За да не използва търсенето на Perplexity страниците ви, забранете PerplexityBot в robots.txt; за да спрете Perplexity-User, използвайте правило в защитната стена по публикуваните му IP диапазони.
Perplexity е изграден около цитирането: отговорите идват с номерирани връзки към страниците, на които се основават. Документацията му за ботовете е кратка и казва ясно кой агент спазва robots.txt и кой не. Тази разлика определя кой инструмент да използвате, ако искате да управлявате всеки от тях.
На тази страница
Какво прави PerplexityBot?
PerplexityBot е предназначен да показва и посочва с връзки уебсайтове в резултатите от търсенето на Perplexity. Perplexity казва, че той не се използва за събиране на съдържание за базови AI модели. За да се появявате в резултатите от търсенето на Perplexity, Perplexity препоръчва да разрешите PerplexityBot в robots.txt.
Perplexity документира този user agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Номерът на версията може да се промени, затова правилата в защитната стена трябва да съпоставят токена PerplexityBot. Perplexity публикува IP диапазоните на perplexity.ai/perplexitybot.json.
Какво прави Perplexity-User?
Perplexity-User обслужва действия на потребители. Когато някой зададе въпрос на Perplexity, той може да посети уеб страница, за да помогне за точен отговор, и да включи връзка към нея. Perplexity казва, че той не се използва за обхождане на уеб или за събиране на данни за обучение.
Документираният му user agent е Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), а IP диапазоните му са публикувани на perplexity.ai/perplexity-user.json.
Какво управлява robots.txt и какво не?
Това е ключовият момент. Perplexity заявява, че тъй като изтеглянето е поискано от потребител, Perplexity-User по правило пренебрегва правилата в robots.txt. Група в robots.txt за PerplexityBot влияе на индексирането за търсене; тя не спира надеждно изтеглянията на живо от името на потребител.
- Забранявате
PerplexityBotв robots.txt: страниците ви не се обхождат за индекса за търсене на Perplexity, така че е по-малко вероятно да бъдат показани и посочени с връзка. - Забранявате
Perplexity-Userв robots.txt: според документацията на Perplexity този бот по правило пренебрегва това, така че не е надежден начин за контрол. - Блокирате
Perplexity-Userв защитната стена: изтеглянето се проваля и потребителите, които питат за страницата ви, получават отговор без нея. - Разрешавате и двата: Perplexity може да индексира страниците ви и да ги чете на живо, когато потребител попита.
Perplexity казва, че всяка настройка в robots.txt работи независимо и че промените може да бъдат отразени до 24 часа.
С какво Perplexity се различава от ChatGPT и Claude?
И трите компании разделят бота за търсене от бота за изтегляне по заявка на потребители. Два детайла отличават Perplexity. Първо, той няма отделен бот за обучение: казва, че PerplexityBot не се използва за събиране на съдържание за базови AI модели, така че няма токен за обучение, за който да решавате. Второ, изрично заявява, че ботът му за потребители по правило пренебрегва robots.txt, докато OpenAI казва, че robots.txt може да не се прилага за ChatGPT-User, а Anthropic казва, че ботовете ѝ, включително Claude-User, спазват robots.txt.
На практика това означава едно решение в robots.txt за бота за търсене на Perplexity и решение в защитната стена, ако някога поискате да спрете изтеглянията по заявка на потребители.
Какъв robots.txt да използвам за Perplexity?
Ако искате да бъдете цитирани, разрешете изрично бота за търсене. Помнете, че група с конкретно име не наследява правила от *, затова повторете всички частни пътища:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Тъй като PerplexityBot не е бот за обучение, блокирането му с цел отказ от обучението на модели би ви струвало видимост в търсенето, без да постигне тази цел.
Ако посочвате карта на сайта в robots.txt, дръжте реда Sitemap: извън всички групи или в края на файла; той важи за всички ботове. Уверете се също, че самата карта на сайта не е блокирана от защитната ви стена, защото бот, който не може да я изтегли, не може да я използва, за да намира нови или променени страници.
Как да се уверя, че защитната стена не блокира Perplexity?
Защитата от ботове често третира всяка заявка, която не е от браузър, като подозрителна. Заявете страницата си с всеки user agent на Perplexity и сравнете отговора със заявка от браузър. Ако ботът получи 403, 429 или страница за проверка, добавете правило за разрешаване, което съпоставя токена и в идеалния случай публикуваните IP диапазони, така че да минава само истинският трафик от Perplexity. В Cloudflare AI Crawl Control показва AI ботовете с действие Allow или Block за всеки.
Проверявайте, вместо да се доверявате на user agent. Всеки може да изпрати заявка, в която пише PerplexityBot, така че правило за разрешаване само по user agent пуска и имитаторите, а блокиране по него може да бъде заобиколено. Проверката на IP адреса на източника спрямо публикуваните списъци на Perplexity прави и двата вида правила надеждни.
AISeeWhy тества PerplexityBot и Perplexity-User заедно с още 12 бота. Тъй като и двата решават дали Perplexity може да използва страницата ви в отговор, блокирането на който и да е от тях се отчита като P1, заедно с правилото, с което да го поправите.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Използва ли Perplexity съдържанието ми за обучение на AI модели?
Perplexity казва, че нито PerplexityBot, нито Perplexity-User се използват за събиране на съдържание за обучение на базови AI модели.
Защо Perplexity-User пренебрегва robots.txt?
Логиката на Perplexity е, че потребител е поискал страницата, така че изтеглянето се извършва от негово име, а не като автоматично обхождане. Документацията казва, че по тази причина ботът по правило пренебрегва robots.txt.
Как да блокирам Perplexity-User, ако се наложи?
Използвайте защитната стена или CDN, като съпоставяте токена от user agent и публикуваните IP диапазони на Perplexity. robots.txt не е надежден начин за контрол на този агент.
Колко време отнема прилагането на промяна в robots.txt?
Perplexity казва, че може да отнеме до 24 часа системите му да отразят промените.
Ще спре ли блокирането на PerplexityBot изобщо използването на съдържанието ми от Perplexity?
Не. То държи страниците ви извън обхождането за индекса за търсене на Perplexity, но Perplexity-User пак може да изтегли страница, когато потребител попита за нея, защото този бот по правило пренебрегва robots.txt.
Източници
- Perplexity: ботовете на Perplexity
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Управление на AI ботове (AI Crawl Control)