Crawleri Perplexityja: PerplexityBot i Perplexity-User
Perplexity koristi PerplexityBot za prikazivanje i povezivanje web-stranica u svojim rezultatima pretraživanja, a Perplexity-User za posjete stranicama kad su potrebne za pitanje korisnika. Perplexity navodi da PerplexityBot poštuje robots.txt i ne koristi se za treniranje temeljnih modela, dok Perplexity-User uglavnom zanemaruje robots.txt jer je dohvaćanje zatražio korisnik. Da Perplexityjevo pretraživanje ne bi koristilo vaše stranice, zabranite PerplexityBot u robots.txt; da biste zaustavili Perplexity-User, koristite pravilo vatrozida usklađeno s njegovim objavljenim rasponima IP adresa.
Perplexity je izgrađen oko citata: odgovori dolaze s numeriranim poveznicama na stranice na koje se oslanjaju. Njegova je dokumentacija o crawlerima kratka i jasno navodi koji agent poštuje robots.txt, a koji ne. Ta razlika određuje koji alat koristite ako želite upravljati bilo kojim od njih.
Na ovoj stranici
Što radi PerplexityBot?
PerplexityBot služi za prikazivanje i povezivanje web-stranica u rezultatima pretraživanja Perplexityja. Perplexity navodi da se ne koristi za prikupljanje sadržaja za temeljne AI modele. Za pojavljivanje u rezultatima pretraživanja Perplexity preporučuje da PerplexityBot dopustite u robots.txt.
Perplexity dokumentira ovaj user agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Broj verzije može se promijeniti, pa pravila vatrozida trebaju tražiti token PerplexityBot. Perplexity objavljuje IP raspone na perplexity.ai/perplexitybot.json.
Što radi Perplexity-User?
Perplexity-User podržava radnje korisnika. Kad netko Perplexityju postavi pitanje, može posjetiti web-stranicu kako bi pomogao dati točan odgovor i uključiti poveznicu na tu stranicu. Perplexity navodi da se ne koristi za indeksiranje weba ni za prikupljanje podataka za treniranje.
Njegov dokumentirani user agent je Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), a njegovi su IP rasponi objavljeni na perplexity.ai/perplexity-user.json.
Čime robots.txt upravlja, a čime ne?
Ovo je ključna točka. Perplexity navodi da, budući da je dohvaćanje zatražio korisnik, Perplexity-User uglavnom zanemaruje pravila u robots.txt. Grupa u robots.txt za PerplexityBot utječe na indeksiranje za pretraživanje; ne zaustavlja pouzdano dohvaćanja uživo u ime korisnika.
- Zabranite
PerplexityBotu robots.txt: vaše se stranice ne indeksiraju za indeks pretraživanja Perplexityja, pa je manje vjerojatno da će biti prikazane i povezane. - Zabranite
Perplexity-Useru robots.txt: prema dokumentaciji Perplexityja, dohvatitelj to uglavnom zanemaruje, pa to nije pouzdana kontrola. - Blokirate
Perplexity-Userna vatrozidu: dohvaćanje ne uspijeva, a korisnici koji pitaju o vašoj stranici dobivaju odgovor bez nje. - Dopustite oba: Perplexity može indeksirati vaše stranice i čitati ih uživo kad korisnik pita.
Perplexity navodi da svaka postavka u robots.txt djeluje neovisno i da promjene mogu postati vidljive tek nakon do 24 sata.
Po čemu se Perplexity razlikuje od ChatGPT-a i Claudea?
Sva tri dobavljača odvajaju crawler za pretraživanje od dohvatitelja na zahtjev korisnika. Perplexity se ističe po dva detalja. Prvo, ne pokreće zaseban crawler za treniranje: navodi da se PerplexityBot ne koristi za prikupljanje sadržaja za temeljne AI modele, pa nema tokena za treniranje o kojem treba odlučiti. Drugo, izričito navodi da njegov dohvatitelj za korisnike uglavnom zanemaruje robots.txt, dok OpenAI navodi da se robots.txt na ChatGPT-User možda ne primjenjuje, a Anthropic navodi da njegovi botovi, uključujući Claude-User, poštuju robots.txt.
U praksi to znači jednu odluku u robots.txt za crawler za pretraživanje Perplexityja i odluku na vatrozidu ako ikad želite zaustaviti dohvaćanja na zahtjev korisnika.
Koji robots.txt koristiti za Perplexity?
Ako želite biti citirani, izričito dopustite crawler za pretraživanje. Imajte na umu da imenovana grupa ne nasljeđuje pravila iz *, pa ponovite sve privatne putanje:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ Budući da PerplexityBot nije crawler za treniranje, njegovo blokiranje radi isključenja iz treniranja modela koštalo bi vas vidljivosti u pretraživanju, a taj cilj ne bi ostvarilo.
Ako u robots.txt navodite sitemap, redak Sitemap: držite izvan svih grupa ili na kraju datoteke; primjenjuje se na sve crawlere. Provjerite i da vaš vatrozid ne blokira sam sitemap, jer ga crawler koji ga ne može dohvatiti ne može koristiti za pronalaženje novih ili promijenjenih stranica.
Kako osigurati da vatrozid ne blokira Perplexity?
Zaštita od botova često svaki zahtjev koji ne dolazi iz preglednika smatra sumnjivim. Zatražite svoju stranicu sa svakim user agentom Perplexityja i usporedite odgovor sa zahtjevom preglednika. Ako crawler dobije 403, 429 ili stranicu s provjerom, dodajte pravilo za propuštanje koje odgovara tokenu i, idealno, objavljenim IP rasponima, kako bi prolazio samo pravi promet Perplexityja. U Cloudflareu AI Crawl Control prikazuje AI crawlere s radnjom Allow ili Block za svakog.
Provjeravajte, a ne vjerujte user agentu. Svatko može poslati zahtjev koji kaže PerplexityBot, pa pravilo za propuštanje temeljeno samo na user agentu propušta i imitatore, a blokada temeljena na njemu može se zaobići. Provjera izvorne IP adrese prema objavljenim popisima Perplexityja čini obje vrste pravila pouzdanima.
AISeeWhy testira PerplexityBot i Perplexity-User uz 12 drugih crawlera. Budući da oba odlučuju može li Perplexity koristiti vašu stranicu u odgovoru, blokada bilo kojeg od njih prijavljuje se kao P1, uz pravilo kojim se to ispravlja.
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera IP adrese AI crawlera
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Koristi li Perplexity moj sadržaj za treniranje AI modela?
Perplexity navodi da se ni PerplexityBot ni Perplexity-User ne koriste za prikupljanje sadržaja za treniranje temeljnih AI modela.
Zašto Perplexity-User zanemaruje robots.txt?
Perplexity obrazlaže da je korisnik zatražio stranicu, pa dohvaćanje djeluje u ime tog korisnika, a ne kao automatsko indeksiranje. Njegova dokumentacija navodi da dohvatitelj zbog toga uglavnom zanemaruje robots.txt.
Kako blokirati Perplexity-User ako je potrebno?
Koristite vatrozid ili CDN i provjeravajte token user agenta i objavljene IP raspone Perplexityja. robots.txt nije pouzdana kontrola za ovog agenta.
Koliko treba da se promjena u robots.txt primijeni?
Perplexity navodi da njegovim sustavima može trebati do 24 sata da preuzmu promjene.
Hoće li blokiranje PerplexityBota potpuno spriječiti Perplexity da koristi moj sadržaj?
Neće. Drži vaše stranice izvan indeksiranja za indeks pretraživanja Perplexityja, ali Perplexity-User i dalje može dohvatiti stranicu kad korisnik pita o njoj, jer taj dohvatitelj uglavnom zanemaruje robots.txt.
Izvori
- Perplexity: crawleri Perplexityja
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: upravljanje AI crawlerima (AI Crawl Control)