Краулери Perplexity: PerplexityBot і Perplexity-User

Q: Чи використовує Perplexity мій контент для навчання моделей AI?

Perplexity повідомляє, що ні PerplexityBot, ні Perplexity-User не використовуються для збору контенту з метою навчання базових моделей AI.

Опубліковано 2026-11-12

Коротка відповідь

Perplexity використовує PerplexityBot, щоб показувати сайти з посиланнями у своїх результатах пошуку, і Perplexity-User, щоб заходити на сторінки, коли вони потрібні для запитання користувача. Perplexity повідомляє, що PerplexityBot дотримується robots.txt і не використовується для навчання базових моделей, а Perplexity-User загалом ігнорує robots.txt, бо завантаження запитав користувач.

Perplexity збудовано навколо цитування: відповіді супроводжуються пронумерованими посиланнями на сторінки, з яких їх складено. Документація щодо його краулерів коротка й ясно каже, який агент дотримується robots.txt, а який ні. Ця різниця визначає, чим користуватися, якщо ви хочете керувати будь-яким із них.

На цій сторінці

Що робить PerplexityBot
Що робить Perplexity-User
Що контролює robots.txt, а що ні
Чим Perplexity відрізняється від ChatGPT і Claude
Який robots.txt використовувати для Perplexity
Як переконатися, що файрвол не блокує Perplexity

Що робить PerplexityBot

PerplexityBot створено, щоб показувати сайти з посиланнями в результатах пошуку Perplexity. Perplexity повідомляє, що він не використовується для обходу контенту заради базових моделей AI. Щоб потрапити в результати пошуку Perplexity, компанія радить дозволити PerplexityBot у robots.txt.

Perplexity вказує такий user agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Номер версії може змінюватися, тому правила файрвола мають орієнтуватися на токен PerplexityBot. Діапазони IP-адрес Perplexity публікує на perplexity.ai/perplexitybot.json.

Що робить Perplexity-User

Perplexity-User підтримує дії користувача. Коли людина ставить Perplexity запитання, той може зайти на вебсторінку, щоб дати точну відповідь, і додати посилання на неї. Perplexity повідомляє, що він не використовується для обходу вебу та збору навчальних даних.

Його user agent за документацією: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), а діапазони IP-адрес опубліковано на perplexity.ai/perplexity-user.json.

Що контролює robots.txt, а що ні

Це ключовий момент. Perplexity заявляє, що оскільки завантаження запитав користувач, Perplexity-User загалом ігнорує правила robots.txt. Група robots.txt для PerplexityBot впливає на індексацію для пошуку; живі завантаження на прохання користувача вона надійно не зупиняє.

Заборона PerplexityBot у robots.txt: ваші сторінки не обходяться для пошукового індексу Perplexity, тому їх рідше показують і наводять посилання на них.
Заборона Perplexity-User у robots.txt: згідно з документацією Perplexity, завантажувач загалом це ігнорує, тож надійним засобом контролю це не є.
Блокування Perplexity-User у файрволі: завантаження не вдається, і користувачі, які запитали про вашу сторінку, отримують відповідь без неї.
Дозвіл обох: Perplexity може індексувати ваші сторінки й читати їх наживо, коли користувач запитує.

Perplexity повідомляє, що кожне налаштування robots.txt діє незалежно і що зміни можуть відобразитися до 24 годин.

Чим Perplexity відрізняється від ChatGPT і Claude

Усі три вендори розділяють пошуковий краулер і завантажувач на запит користувача. Perplexity вирізняють дві деталі. По-перше, у нього немає окремого краулера навчання: він повідомляє, що PerplexityBot не використовується для обходу контенту заради базових моделей AI, тож токена навчання, щодо якого треба вирішувати, немає. По-друге, він прямо заявляє, що його завантажувач на запит користувача загалом ігнорує robots.txt, тоді як OpenAI каже, що robots.txt може не застосовуватися до ChatGPT-User, а Anthropic заявляє, що її боти, зокрема Claude-User, дотримуються robots.txt.

На практиці це означає одне рішення щодо пошукового краулера Perplexity в robots.txt і окреме рішення на рівні файрвола, якщо колись захочеться зупинити завантаження на запит користувача.

Який robots.txt використовувати для Perplexity

Якщо ви хочете, щоб вас цитували, дозвольте пошукового краулера явно. Пам’ятайте, що іменована група не успадковує правила від *, тому повторіть закриті шляхи:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Оскільки PerplexityBot не краулер навчання, його блокування заради відмови від навчання моделей коштувало б вам видимості в пошуку, не наближаючи до цієї мети.

Якщо ви вказуєте мапу сайту в robots.txt, тримайте рядок Sitemap: поза будь-якою групою або в кінці файлу; він діє для всіх краулерів. Перевірте також, що сам файл мапи не заблокований вашим файрволом: краулер, який не може його завантажити, не зможе знайти за ним нові чи змінені сторінки.

Як переконатися, що файрвол не блокує Perplexity

Захист від ботів часто вважає підозрілим будь-який запит не з браузера. Запросіть сторінку з кожним user agent Perplexity і порівняйте відповідь із запитом із браузера. Якщо краулер отримує 403, 429 або сторінку-перевірку, додайте дозвільне правило за токеном і, в ідеалі, за опублікованими діапазонами IP, щоб проходив лише справжній трафік Perplexity. У Cloudflare AI Crawl Control показує список AI-краулерів з дією Allow або Block для кожного.

Перевіряйте, а не довіряйте user agent. Будь-хто може надіслати запит, у якому написано PerplexityBot, тому дозвільне правило лише за user agent пропускає й наслідувачів, а блокування за ним можна обійти. Звірка вихідної IP-адреси з опублікованими списками Perplexity робить надійними правила обох видів.

AISeeWhy перевіряє PerplexityBot і Perplexity-User разом із 12 іншими краулерами. Оскільки обидва визначають, чи зможе Perplexity використати вашу сторінку у відповіді, блокування будь-якого з них позначається як P1, із правилом для виправлення.

Поширені запитання

Чи використовує Perplexity мій контент для навчання моделей AI?

Perplexity повідомляє, що ні PerplexityBot, ні Perplexity-User не використовуються для збору контенту з метою навчання базових моделей AI.

Чому Perplexity-User ігнорує robots.txt?

Логіка Perplexity така: сторінку запитав користувач, тому завантаження йде від його імені, а не як автоматичний обхід. Через це, як сказано в документації, завантажувач загалом ігнорує robots.txt.

Як заблокувати Perplexity-User, якщо потрібно?

Через файрвол або CDN, зіставляючи токен user agent і опубліковані Perplexity діапазони IP. Для цього агента robots.txt не є надійним засобом.

Скільки часу займає застосування змін robots.txt?

Perplexity повідомляє, що системам може знадобитися до 24 годин, щоб відобразити зміни.

Чи зупинить блокування PerplexityBot використання мого контенту Perplexity повністю?

Ні. Воно прибирає ваші сторінки з обходу для пошукового індексу Perplexity, але Perplexity-User усе одно може завантажити сторінку, коли про неї запитує користувач, бо цей завантажувач загалом ігнорує robots.txt.