Чому мій сайт не показується в Perplexity?
Perplexity може показувати й наводити посилання лише на сторінки, які PerplexityBot дозволено обходити і які він справді отримує. Зазвичай причина одна з трьох: правило robots.txt, що забороняє PerplexityBot, файрвол або CDN, які відповідають йому кодом 403 чи сторінкою-перевіркою, або текст, що з’являється тільки після виконання JavaScript. Перевірте всі три, а потім дозвольте опубліковані Perplexity діапазони IP.
Ви питаєте Perplexity про свій продукт, а він цитує конкурента, сайт з оглядами чи гілку форуму, але ніколи ваші сторінки. Іноді це питання релевантності. Частіше це технічна перешкода, яку можна знайти за кілька хвилин. Perplexity документує, яких агентів використовує, що робить кожен із них і звідки приходить його трафік, тож кожну ланку ланцюжка можна перевірити: robots.txt, відповідь вашого сервера та вміст цієї відповіді.
На цій сторінці
- Як Perplexity знаходить і читає сторінки
- Чи не блокує PerplexityBot ваш robots.txt
- Чи не блокує Perplexity ваш файрвол або CDN
- Як дозволити Perplexity за опублікованими діапазонами IP
- Чи може рендеринг JavaScript завадити Perplexity прочитати сторінку
- Що, якщо все відкрито, а сайт усе одно не з’являється
Як Perplexity знаходить і читає сторінки
Perplexity документує двох агентів. Вони виконують різні завдання, і проблема з будь-яким із них може не пустити вашу сторінку у відповідь.
PerplexityBotстворено, щоб показувати сайти з посиланнями в результатах пошуку Perplexity. Perplexity радить дозволити його в robots.txt, якщо ви хочете там з’являтися, і повідомляє, що він не використовується для обходу контенту заради базових моделей AI.Perplexity-Userпідтримує дії користувача. Коли людина ставить запитання, він може зайти на сторінку, щоб допомогти відповісти, і додати посилання на неї. Perplexity повідомляє, що він не використовується для обходу вебу та збору навчальних даних.
На практиці PerplexityBot визначає, чи знає Perplexity про ваші сторінки ще до будь-якого запитання, а Perplexity-User — чи зможе відкрити сторінку наживо, коли її потребує запитання. Якщо ви хочете, щоб вас цитували, обидва мають отримувати ту саму сторінку, що й браузер.
Чи не блокує PerplexityBot ваш robots.txt
Відкрийте https://yourdomain.com/robots.txt і знайдіть групу, що називає PerplexityBot. Якщо такої немає, краулер дотримується групи User-agent: *. За RFC 9309 збіг не залежить від регістру, а іменована група повністю замінює групу *, а не доповнює її.
Така блокада трапляється часто. У нашому дослідженні файлів robots.txt 1000 найпопулярніших доменів 86 із 518 сайтів, що віддавали robots.txt (16,6 %), забороняли головну сторінку для PerplexityBot. Це найвища частка серед усіх протестованих нами краулерів AI-пошуку; OAI-SearchBot заблоковано на 58 сайтах (11,2 %). Деякі з цих сайтів, можливо, хотіли зупинити навчання AI, але Perplexity повідомляє, що PerplexityBot не є краулером навчання, тож його блокування коштує видимості в пошуку, не служачи цій меті.
Налаштування, що пускає Perplexity і залишає закритою приватну зону, виглядає так:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml
Перевірте також, що сам файл віддається правильно. Якщо robots.txt повертає помилку сервера, за RFC 9309 краулер має вважати заборонений увесь сайт. Адреса robots.txt, що повертає HTML-сторінку зі статусом 200, не містить дійсних правил. Perplexity повідомляє, що зміни можуть відобразитися до 24 годин.
Чи не блокує Perplexity ваш файрвол або CDN
robots.txt — це прохання, а не контроль доступу. Що саме буде надіслано, вирішують ваш файрвол, CDN чи захист від ботів: вони можуть відповісти Perplexity кодом 403, 429 або сторінкою-перевіркою, тоді як ваші власні заходи з браузера виглядають нормально. У документації Perplexity сказано, що сайтам за файрволом вебзастосунків (WAF) може знадобитися прямо дозволити його ботів.
Перевірте це, запросивши той самий URL як браузер і як кожен агент Perplexity, а потім порівняйте статус і розмір:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done
Код 403, 429 або 503 лише для агентів Perplexity, сторінка із заголовком Just a moment... або відповідь 200 значно меншого розміру, ніж у браузера, — усе це вказує на файрвол. Цей тест робиться з вашої IP-адреси, а не з адрес Perplexity, тож він показує, як ваші правила ставляться до user agent; правила на основі IP можуть і далі поводитися інакше щодо справжнього краулера.
Якщо ви користуєтеся Cloudflare, зважте на дві речі. Документація Perplexity повторює заяву самої Cloudflare, що Bot Fight Mode не можна обійти користувацькими правилами WAF, тож якщо ця функція показує Perplexity перевірку, правило дозволу не допоможе. А в серпні 2025 року Cloudflare повідомила, що прибрала Perplexity зі списку перевірених ботів після того, що вона описала як необ’явлений обхід; Perplexity оскаржила цей виклад. Тому правила, які пропускають лише перевірених ботів, можуть не охоплювати Perplexity. Перевіряйте поточний стан у своїй панелі, а не припускайте.
Як дозволити Perplexity за опублікованими діапазонами IP
Будь-хто може надіслати запит, що називається PerplexityBot, тому правило дозволу, яке збігається лише за user agent, пропускає й імітаторів. Perplexity публікує діапазони адрес обох агентів і радить зіставляти user agent та IP-адресу разом:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
Perplexity повідомляє, що ці списки регулярно оновлюються, і радить автоматизувати оновлення правил WAF. Поставте правило дозволу над будь-яким правилом, що блокує запити або показує перевірку: першим у користувацьких правилах Cloudflare або з меншим номером пріоритету в AWS WAF. Потім стежте за журналами, адже зміни файрвола можуть поширюватися не одразу.
Чи може рендеринг JavaScript завадити Perplexity прочитати сторінку
Може. Документація краулерів Perplexity не каже, чи виконують його агенти JavaScript, тому безпечно виходити з того, що текст, потрібний краулеру, має бути в HTML, який надсилає сервер. Сторінки, повністю зібрані в браузері, як-от односторінкові застосунки без серверного рендерингу, можуть приходити порожньою оболонкою зі спінером завантаження.
Швидка перевірка: завантажте сторінку через curl і пошукайте у виводі речення з основного вмісту. Якщо його немає, текст додають скрипти. Серверний рендеринг, статична генерація або пререндеринг для краулерів виправляє це одразу для всіх AI-краулерів, а не лише для Perplexity.
Що, якщо все відкрито, а сайт усе одно не з’являється
Бути читабельним — це передумова, а не гарантія. Perplexity не публікує, як обирає джерела для цитування, тож сторінка, яку може прочитати кожен агент, усе одно може програти сторінкам, що відповідають на запитання пряміше. Ви можете простежити, щоб технічно нічого не заважало: зрозумілий заголовок сторінки, відповідь на початку тексту та точні факти, що збігаються з тим, що ви кажете деінде.
Пам’ятайте також, чого robots.txt не охоплює. Perplexity повідомляє, що Perplexity-User загалом ігнорує robots.txt, бо завантаження запитав користувач. Тому правило для Perplexity-User не є надійним способом заблокувати живі візити, а robots.txt, що його дозволяє, не доводить, що він проходить крізь ваш файрвол.
AISeeWhy запитує вашу сторінку як PerplexityBot, Perplexity-User і ще 12 краулерів поряд із браузером, застосовує для кожного ваші правила robots.txt, розпізнає сторінки-перевірки й показує, яка частка тексту доходить без JavaScript, — так ви бачите, яка ланка ланцюжка відмовляє.
Поширені запитання
Чи навчає Perplexity свої моделі на моєму контенті?
Perplexity повідомляє, що PerplexityBot не використовується для обходу контенту заради базових моделей AI, а Perplexity-User не збирає контент для навчання. Тому заборона PerplexityBot не працює як відмова від навчання; вона лише зменшує вашу видимість у результатах пошуку Perplexity.
Через який час після виправлення robots.txt Perplexity це помітить?
Perplexity повідомляє, що його системам може знадобитися до 24 годин, щоб відобразити зміни в robots.txt. Зміни файрвола набувають чинності, коли їх застосує ваш провайдер, але дайте краулеру час повернутися, перш ніж оцінювати результат.
Чи можна заблокувати Perplexity-User через robots.txt?
Надійно ні. Perplexity повідомляє, що завантажувач загалом ігнорує robots.txt, бо завантаження запитав користувач. Якщо його потрібно зупинити, надійний засіб — правило файрвола за опублікованими діапазонами IP.
Чи достатньо перевірки user agent, щоб ідентифікувати трафік Perplexity?
Ні. User agent легко скопіювати. Порівняйте вихідну IP-адресу з діапазонами, які Perplexity публікує в perplexitybot.json і perplexity-user.json, і зіставляйте в правилах файрвола і user agent, і IP.
Джерела
- Perplexity: краулери Perplexity
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: Perplexity використовує приховані, необ’явлені краулери, щоб обходити заборони сканування на сайтах
- Perplexity: агенти чи боти? Осмислюємо AI у відкритому вебі
- AISeeWhy: звіт про доступ AI-краулерів до сайтів, 2026-11