Crawlery Perplexity: PerplexityBot i Perplexity-User
Perplexity używa PerplexityBot, by pokazywać strony z linkami w wynikach wyszukiwania, oraz Perplexity-User, by odwiedzać strony, gdy wymaga tego pytanie użytkownika. Perplexity podaje, że PerplexityBot przestrzega robots.txt i nie służy do trenowania modeli bazowych, a Perplexity-User zasadniczo ignoruje robots.txt, bo pobranie zleca użytkownik.
Perplexity opiera się na cytowaniu: odpowiedzi zawierają numerowane linki do stron, z których korzystają. Dokumentacja jego crawlerów jest krótka i jasno mówi, który agent przestrzega robots.txt, a który nie. Ta różnica decyduje, czego użyć, jeśli chcesz kontrolować któregokolwiek z nich.
Na tej stronie
Co robi PerplexityBot
PerplexityBot ma pokazywać strony z linkami w wynikach wyszukiwania Perplexity. Perplexity podaje, że nie służy do przeszukiwania treści na potrzeby modeli bazowych AI. Aby pojawić się w wynikach wyszukiwania Perplexity, firma zaleca dopuścić PerplexityBot w robots.txt.
Perplexity dokumentuje taki user agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Numer wersji może się zmieniać, więc reguły firewalla powinny dopasowywać token PerplexityBot. Zakresy IP Perplexity publikuje pod perplexity.ai/perplexitybot.json.
Co robi Perplexity-User
Perplexity-User wspiera działania użytkownika. Gdy ktoś zadaje Perplexity pytanie, może on odwiedzić stronę internetową, by udzielić dokładnej odpowiedzi, i dołączyć link do niej. Perplexity podaje, że nie służy do przeszukiwania sieci ani zbierania danych treningowych.
Jego udokumentowany user agent to Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), a zakresy IP są opublikowane pod perplexity.ai/perplexity-user.json.
Co kontroluje robots.txt, a czego nie
To kluczowa kwestia. Perplexity zaznacza, że ponieważ pobranie zleca użytkownik, Perplexity-User zasadniczo ignoruje reguły robots.txt. Grupa robots.txt dla PerplexityBot wpływa na indeksowanie na potrzeby wyszukiwania; nie zatrzymuje niezawodnie pobrań na żywo w imieniu użytkownika.
- Zablokowanie
PerplexityBotw robots.txt: Twoje strony nie są przeszukiwane na potrzeby indeksu wyszukiwania Perplexity, więc rzadziej będą pokazywane i linkowane. - Zablokowanie
Perplexity-Userw robots.txt: według dokumentacji Perplexity pobierający agent zasadniczo to ignoruje, więc nie jest to niezawodna kontrola. - Zablokowanie
Perplexity-Userw firewallu: pobranie się nie udaje, a użytkownicy pytający o Twoją stronę dostają odpowiedź bez niej. - Dopuszczenie obu: Perplexity może indeksować Twoje strony i czytać je na żywo, gdy użytkownik zapyta.
Perplexity podaje, że każde ustawienie robots.txt działa niezależnie i że zmiany mogą zacząć obowiązywać do 24 godzin.
Czym Perplexity różni się od ChatGPT i Claude
Wszyscy trzej dostawcy oddzielają crawlera wyszukiwarki od agenta pobierającego na żądanie użytkownika. Perplexity wyróżniają dwa szczegóły. Po pierwsze, nie prowadzi osobnego crawlera treningowego: podaje, że PerplexityBot nie służy do przeszukiwania treści na potrzeby modeli bazowych AI, więc nie ma tokenu treningowego, o którym trzeba decydować. Po drugie, mówi wprost, że jego agent pobierający na żądanie użytkownika zasadniczo ignoruje robots.txt, podczas gdy OpenAI podaje, że robots.txt może nie obowiązywać ChatGPT-User, a Anthropic podaje, że jej boty, w tym Claude-User, przestrzegają robots.txt.
W praktyce oznacza to jedną decyzję o crawlerze wyszukiwarki Perplexity w robots.txt i osobną decyzję na poziomie firewalla, jeśli kiedykolwiek zechcesz zatrzymać pobrania na żądanie użytkownika.
Jakiego robots.txt użyć dla Perplexity
Jeśli chcesz być cytowany, dopuść crawlera wyszukiwarki wprost. Pamiętaj, że nazwana grupa nie dziedziczy reguł po *, więc powtórz wszystkie prywatne ścieżki:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Ponieważ PerplexityBot nie jest crawlerem treningowym, zablokowanie go w celu rezygnacji z trenowania modeli kosztowałoby Cię widoczność w wyszukiwarce i nie służyłoby temu celowi.
Jeśli wskazujesz mapę witryny w robots.txt, trzymaj wiersz Sitemap: poza jakąkolwiek grupą albo na końcu pliku; obowiązuje on wszystkie crawlery. Upewnij się też, że sama mapa nie jest blokowana przez firewall, bo crawler, który nie może jej pobrać, nie użyje jej do znalezienia nowych lub zmienionych stron.
Jak upewnić się, że firewall nie blokuje Perplexity
Ochrona przed botami często uznaje za podejrzane każde żądanie spoza przeglądarki. Pobierz stronę z każdym user agentem Perplexity i porównaj odpowiedź z żądaniem z przeglądarki. Jeśli crawler dostaje 403, 429 lub stronę weryfikacji, dodaj regułę zezwalającą, która dopasowuje token i najlepiej opublikowane zakresy IP, by przepuszczać tylko prawdziwy ruch Perplexity. W Cloudflare AI Crawl Control wyświetla crawlery AI z akcją Allow lub Block dla każdego.
Weryfikuj, zamiast ufać user agentowi. Każdy może wysłać żądanie podpisane jako PerplexityBot, więc reguła zezwalająca oparta wyłącznie na user agencie wpuszcza także naśladowców, a blokadę opartą na nim można obejść. Sprawdzanie źródłowego IP według opublikowanych list Perplexity sprawia, że reguły obu rodzajów są niezawodne.
AISeeWhy testuje PerplexityBot i Perplexity-User razem z 12 innymi crawlerami. Ponieważ obaj decydują, czy Perplexity może użyć Twojej strony w odpowiedzi, blokada któregokolwiek z nich jest zgłaszana jako P1, wraz z regułą do naprawy.
Najczęstsze pytania
Czy Perplexity używa moich treści do trenowania modeli AI?
Perplexity podaje, że ani PerplexityBot, ani Perplexity-User nie służą do zbierania treści na potrzeby trenowania modeli bazowych AI.
Dlaczego Perplexity-User ignoruje robots.txt?
Rozumowanie Perplexity jest takie, że stronę zlecił użytkownik, więc pobranie działa w jego imieniu, a nie jako automatyczne przeszukiwanie. Z tego powodu, jak mówi dokumentacja, agent zasadniczo ignoruje robots.txt.
Jak zablokować Perplexity-User, jeśli muszę?
Użyj firewalla lub CDN, dopasowując token user agenta i opublikowane przez Perplexity zakresy IP. robots.txt nie jest niezawodną kontrolą dla tego agenta.
Ile trwa zastosowanie zmiany w robots.txt?
Perplexity podaje, że odzwierciedlenie zmian w jego systemach może zająć do 24 godzin.
Czy zablokowanie PerplexityBot całkowicie powstrzyma Perplexity przed użyciem moich treści?
Nie. Wyklucza Twoje strony z przeszukiwania na potrzeby indeksu wyszukiwania Perplexity, ale Perplexity-User nadal może pobrać stronę, gdy użytkownik o nią zapyta, bo ten agent zasadniczo ignoruje robots.txt.
Źródła
- Perplexity: crawlery Perplexity
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: zarządzanie crawlerami AI (AI Crawl Control)