Краулеры Perplexity: PerplexityBot и Perplexity-User

Q: Использует ли Perplexity мой контент для обучения моделей AI?

Perplexity сообщает, что ни PerplexityBot, ни Perplexity-User не используются для сбора контента с целью обучения базовых моделей AI.

Опубликовано 2026-11-12

Короткий ответ

Perplexity использует PerplexityBot, чтобы показывать сайты со ссылками в своих результатах поиска, и Perplexity-User, чтобы заходить на страницы, когда они нужны для вопроса пользователя. Perplexity сообщает, что PerplexityBot соблюдает robots.txt и не используется для обучения базовых моделей, а Perplexity-User в целом игнорирует robots.txt, потому что загрузку запросил пользователь.

Perplexity построен вокруг цитирования: ответы сопровождаются пронумерованными ссылками на страницы, из которых они составлены. Документация по его краулерам короткая и ясно говорит, какой агент следует robots.txt, а какой нет. Эта разница определяет, чем пользоваться, если вы хотите управлять любым из них.

На этой странице

Что делает PerplexityBot
Что делает Perplexity-User
Что контролирует robots.txt, а что нет
Чем Perplexity отличается от ChatGPT и Claude
Какой robots.txt использовать для Perplexity
Как убедиться, что файрвол не блокирует Perplexity

Что делает PerplexityBot

PerplexityBot создан, чтобы показывать сайты со ссылками в результатах поиска Perplexity. Perplexity сообщает, что он не используется для обхода контента ради базовых моделей AI. Чтобы попасть в результаты поиска Perplexity, компания рекомендует разрешить PerplexityBot в robots.txt.

Perplexity указывает такой user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Номер версии может меняться, поэтому правила файрвола должны ориентироваться на токен PerplexityBot. Диапазоны IP-адресов Perplexity публикует на perplexity.ai/perplexitybot.json.

Что делает Perplexity-User

Perplexity-User поддерживает действия пользователя. Когда человек задаёт Perplexity вопрос, тот может зайти на веб-страницу, чтобы дать точный ответ, и добавить ссылку на неё. Perplexity сообщает, что он не используется для обхода веба и сбора обучающих данных.

Его user agent по документации: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), а диапазоны IP-адресов опубликованы на perplexity.ai/perplexity-user.json.

Что контролирует robots.txt, а что нет

Это ключевой момент. Perplexity заявляет, что поскольку загрузку запросил пользователь, Perplexity-User в целом игнорирует правила robots.txt. Группа robots.txt для PerplexityBot влияет на индексацию для поиска; живые загрузки по просьбе пользователя она надёжно не останавливает.

Запрет PerplexityBot в robots.txt: ваши страницы не обходятся для поискового индекса Perplexity, поэтому их реже показывают и приводят по ним ссылки.
Запрет Perplexity-User в robots.txt: согласно документации Perplexity, загрузчик в целом это игнорирует, так что надёжным средством контроля это не является.
Блокировка Perplexity-User в файрволе: загрузка не удаётся, и пользователи, спросившие о вашей странице, получают ответ без неё.
Разрешение обоих: Perplexity может индексировать ваши страницы и читать их вживую, когда пользователь спрашивает.

Perplexity сообщает, что каждая настройка robots.txt действует независимо и что изменения могут отразиться до 24 часов.

Чем Perplexity отличается от ChatGPT и Claude

Все три вендора разделяют поисковый краулер и загрузчик по запросу пользователя. Perplexity выделяют две детали. Во-первых, у него нет отдельного краулера обучения: он сообщает, что PerplexityBot не используется для обхода контента ради базовых моделей AI, так что токена обучения, о котором нужно решать, нет. Во-вторых, он прямо заявляет, что его загрузчик по запросу пользователя в целом игнорирует robots.txt, тогда как OpenAI говорит, что robots.txt может не применяться к ChatGPT-User, а Anthropic заявляет, что её боты, включая Claude-User, соблюдают robots.txt.

На практике это означает одно решение о поисковом краулере Perplexity в robots.txt и отдельное решение на уровне файрвола, если когда-нибудь захочется остановить загрузки по запросу пользователя.

Какой robots.txt использовать для Perplexity

Если вы хотите, чтобы вас цитировали, разрешите поискового краулера явно. Помните, что именованная группа не наследует правила от *, поэтому повторите закрытые пути:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Поскольку PerplexityBot не краулер обучения, его блокировка ради отказа от обучения моделей стоила бы вам видимости в поиске, не приближая к этой цели.

Если вы указываете карту сайта в robots.txt, держите строку Sitemap: вне любой группы или в конце файла; она действует для всех краулеров. Проверьте также, что сам файл карты не заблокирован вашим файрволом: краулер, который не может его загрузить, не сможет найти по нему новые или изменённые страницы.

Как убедиться, что файрвол не блокирует Perplexity

Защита от ботов часто считает подозрительным любой запрос не из браузера. Запросите страницу с каждым user agent Perplexity и сравните ответ с запросом из браузера. Если краулер получает 403, 429 или страницу-проверку, добавьте разрешающее правило по токену и, в идеале, по опубликованным диапазонам IP, чтобы проходил только настоящий трафик Perplexity. В Cloudflare AI Crawl Control показывает список AI-краулеров с действием Allow или Block для каждого.

Проверяйте, а не доверяйте user agent. Любой может отправить запрос, в котором написано PerplexityBot, поэтому разрешающее правило только по user agent пропускает и подражателей, а блокировку по нему можно обойти. Сверка исходного IP с опубликованными списками Perplexity делает надёжными правила обоих видов.

AISeeWhy проверяет PerplexityBot и Perplexity-User вместе с 12 другими краулерами. Поскольку оба определяют, сможет ли Perplexity использовать вашу страницу в ответе, блокировка любого из них отмечается как P1, с правилом для исправления.

Частые вопросы

Использует ли Perplexity мой контент для обучения моделей AI?

Perplexity сообщает, что ни PerplexityBot, ни Perplexity-User не используются для сбора контента с целью обучения базовых моделей AI.

Почему Perplexity-User игнорирует robots.txt?

Логика Perplexity такова: страницу запросил пользователь, поэтому загрузка идёт от его имени, а не как автоматический обход. Поэтому, как сказано в документации, загрузчик в целом игнорирует robots.txt.

Как заблокировать Perplexity-User, если нужно?

Через файрвол или CDN, сопоставляя токен user agent и опубликованные Perplexity диапазоны IP. Для этого агента robots.txt не является надёжным средством.

Сколько времени занимает применение изменений robots.txt?

Perplexity сообщает, что системам может потребоваться до 24 часов, чтобы отразить изменения.

Остановит ли блокировка PerplexityBot использование моего контента Perplexity полностью?

Нет. Она убирает ваши страницы из обхода для поискового индекса Perplexity, но Perplexity-User по-прежнему может загрузить страницу, когда о ней спрашивает пользователь, потому что этот загрузчик в целом игнорирует robots.txt.