Οι crawlers της Perplexity: PerplexityBot και Perplexity-User
Η Perplexity χρησιμοποιεί τον PerplexityBot για να εμφανίζει και να συνδέει ιστότοπους στα αποτελέσματα αναζήτησής της και τον Perplexity-User για να επισκέπτεται σελίδες όταν η ερώτηση ενός χρήστη τις χρειάζεται. Η Perplexity λέει ότι ο PerplexityBot ακολουθεί το robots.txt και δεν χρησιμοποιείται για εκπαίδευση θεμελιωδών μοντέλων, ενώ ο Perplexity-User γενικά αγνοεί το robots.txt επειδή την ανάκτηση τη ζήτησε χρήστης.
Η Perplexity είναι χτισμένη γύρω από τις παραθέσεις: οι απαντήσεις συνοδεύονται από αριθμημένους συνδέσμους προς τις σελίδες που χρησιμοποιούν. Η τεκμηρίωση των crawlers της είναι σύντομη και δηλώνει καθαρά ποιος agent ακολουθεί το robots.txt και ποιος όχι. Αυτή η διαφορά καθορίζει ποιο εργαλείο θα χρησιμοποιήσετε αν θέλετε να ελέγξετε τον έναν ή τον άλλον.
Σε αυτή τη σελίδα
Τι κάνει ο PerplexityBot;
Ο PerplexityBot έχει σχεδιαστεί για να εμφανίζει και να συνδέει ιστότοπους στα αποτελέσματα αναζήτησης της Perplexity. Η Perplexity λέει ότι δεν χρησιμοποιείται για τη σάρωση περιεχομένου για θεμελιώδη μοντέλα AI. Για να εμφανιστείτε στα αποτελέσματα αναζήτησης της Perplexity, εκείνη συνιστά να επιτρέψετε τον PerplexityBot στο robots.txt.
Η Perplexity τεκμηριώνει αυτό το user agent:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)Ο αριθμός έκδοσης μπορεί να αλλάξει, γι' αυτό οι κανόνες του firewall πρέπει να ταιριάζουν με το token PerplexityBot. Η Perplexity δημοσιεύει τα εύρη IP στο perplexity.ai/perplexitybot.json.
Τι κάνει ο Perplexity-User;
Ο Perplexity-User υποστηρίζει ενέργειες χρηστών. Όταν κάποιος κάνει μια ερώτηση στην Perplexity, αυτή μπορεί να επισκεφθεί μια ιστοσελίδα για να δώσει ακριβή απάντηση και να συμπεριλάβει σύνδεσμο προς αυτήν. Η Perplexity λέει ότι δεν χρησιμοποιείται για σάρωση του web ούτε για συλλογή δεδομένων εκπαίδευσης.
Το τεκμηριωμένο user agent του είναι Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) και τα εύρη IP του δημοσιεύονται στο perplexity.ai/perplexity-user.json.
Τι ελέγχει το robots.txt και τι όχι;
Αυτό είναι το βασικό σημείο. Η Perplexity δηλώνει ότι, επειδή την ανάκτηση τη ζήτησε χρήστης, ο Perplexity-User γενικά αγνοεί τους κανόνες του robots.txt. Μια ομάδα robots.txt για τον PerplexityBot επηρεάζει την ευρετηρίαση για αναζήτηση· δεν σταματά αξιόπιστα τις ζωντανές ανακτήσεις εκ μέρους χρήστη.
- Απαγόρευση του
PerplexityBotστο robots.txt: οι σελίδες σας δεν σαρώνονται για το ευρετήριο αναζήτησης της Perplexity, άρα είναι λιγότερο πιθανό να εμφανιστούν και να συνδεθούν. - Απαγόρευση του
Perplexity-Userστο robots.txt: σύμφωνα με την τεκμηρίωση της Perplexity, ο μηχανισμός ανάκτησης γενικά το αγνοεί, άρα δεν είναι αξιόπιστος έλεγχος. - Αποκλεισμός του
Perplexity-Userστο firewall: η ανάκτηση αποτυγχάνει και οι χρήστες που ρωτούν για τη σελίδα σας λαμβάνουν απάντηση χωρίς αυτήν. - Επιτρέπετε και τους δύο: η Perplexity μπορεί να ευρετηριάζει τις σελίδες σας και να τις διαβάζει ζωντανά όταν το ζητά ένας χρήστης.
Η Perplexity λέει ότι κάθε ρύθμιση του robots.txt λειτουργεί ανεξάρτητα και ότι οι αλλαγές μπορεί να χρειαστούν έως και 24 ώρες για να ισχύσουν.
Σε τι διαφέρει η Perplexity από το ChatGPT και το Claude;
Και οι τρεις πάροχοι ξεχωρίζουν έναν crawler αναζήτησης από έναν μηχανισμό ανάκτησης που ζητά ο χρήστης. Δύο λεπτομέρειες ξεχωρίζουν την Perplexity. Πρώτον, δεν τρέχει ξεχωριστό crawler εκπαίδευσης: λέει ότι ο PerplexityBot δεν χρησιμοποιείται για τη σάρωση περιεχομένου για θεμελιώδη μοντέλα AI, άρα δεν υπάρχει token εκπαίδευσης για να αποφασίσετε. Δεύτερον, δηλώνει ρητά ότι ο μηχανισμός ανάκτησης για χρήστες γενικά αγνοεί το robots.txt, ενώ η OpenAI λέει ότι το robots.txt μπορεί να μην ισχύει για τον ChatGPT-User και η Anthropic λέει ότι τα bots της, μαζί με τον Claude-User, τηρούν το robots.txt.
Στην πράξη αυτό σημαίνει μία απόφαση για τον crawler αναζήτησης της Perplexity στο robots.txt και μια απόφαση στο firewall αν θελήσετε ποτέ να σταματήσετε τις ανακτήσεις που ζητούν οι χρήστες.
Ποιο robots.txt να χρησιμοποιήσω για την Perplexity;
Αν θέλετε να παρατίθεστε, επιτρέψτε ρητά τον crawler αναζήτησης. Θυμηθείτε ότι μια ονομαστική ομάδα δεν κληρονομεί κανόνες από το *, γι' αυτό επαναλάβετε τις ιδιωτικές διαδρομές:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/Επειδή ο PerplexityBot δεν είναι crawler εκπαίδευσης, ο αποκλεισμός του για να εξαιρεθείτε από την εκπαίδευση μοντέλων θα σας κόστιζε ορατότητα στην αναζήτηση χωρίς να εξυπηρετεί αυτόν τον στόχο.
Αν δηλώνετε sitemap στο robots.txt, κρατήστε τη γραμμή Sitemap: εκτός οποιασδήποτε ομάδας ή στο τέλος του αρχείου· ισχύει για όλους τους crawlers. Φροντίστε επίσης να μην αποκλείεται το ίδιο το sitemap από το firewall σας, γιατί ένας crawler που δεν μπορεί να το ανακτήσει δεν μπορεί να το χρησιμοποιήσει για να βρει νέες ή αλλαγμένες σελίδες.
Πώς φροντίζω να μην αποκλείει το firewall την Perplexity;
Η προστασία από bots συχνά θεωρεί ύποπτο κάθε αίτημα που δεν προέρχεται από browser. Ζητήστε τη σελίδα σας με κάθε user agent της Perplexity και συγκρίνετε την απάντηση με αίτημα από browser. Αν ο crawler λάβει 403, 429 ή σελίδα πρόκλησης, προσθέστε έναν κανόνα επιτρεπόμενων που ταιριάζει με το token και, ιδανικά, με τα δημοσιευμένα εύρη IP, ώστε να περνά μόνο η πραγματική κίνηση της Perplexity. Στο Cloudflare, το AI Crawl Control παραθέτει τους AI crawlers με ενέργεια Allow ή Block για τον καθένα.
Επαληθεύστε αντί να εμπιστεύεστε το user agent. Οποιοσδήποτε μπορεί να στείλει αίτημα που λέει PerplexityBot, άρα ένας κανόνας επιτρεπόμενων μόνο με βάση το user agent δέχεται και μιμητές, ενώ ένας αποκλεισμός με βάση αυτό παρακάμπτεται. Ο έλεγχος της IP προέλευσης με τις δημοσιευμένες λίστες της Perplexity κάνει αξιόπιστους και τους δύο τύπους κανόνων.
Το AISeeWhy δοκιμάζει τους PerplexityBot και Perplexity-User μαζί με 12 άλλους crawlers. Επειδή και οι δύο καθορίζουν αν η Perplexity μπορεί να χρησιμοποιήσει τη σελίδα σας σε μια απάντηση, ο αποκλεισμός οποιουδήποτε αναφέρεται ως P1, μαζί με τον κανόνα που τον διορθώνει.
Συχνές ερωτήσεις
Χρησιμοποιεί η Perplexity το περιεχόμενό μου για εκπαίδευση μοντέλων AI;
Η Perplexity λέει ότι ούτε ο PerplexityBot ούτε ο Perplexity-User χρησιμοποιούνται για τη συλλογή περιεχομένου για εκπαίδευση θεμελιωδών μοντέλων AI.
Γιατί ο Perplexity-User αγνοεί το robots.txt;
Η λογική της Perplexity είναι ότι ένας χρήστης ζήτησε τη σελίδα, άρα η ανάκτηση ενεργεί εκ μέρους αυτού του χρήστη και όχι ως αυτόματη σάρωση. Η τεκμηρίωσή της λέει ότι ο μηχανισμός ανάκτησης γενικά αγνοεί το robots.txt γι' αυτόν τον λόγο.
Πώς αποκλείω τον Perplexity-User αν χρειαστεί;
Χρησιμοποιήστε το firewall ή το CDN σας, ταιριάζοντας με το token του user agent και με τα δημοσιευμένα εύρη IP της Perplexity. Το robots.txt δεν είναι αξιόπιστος έλεγχος για αυτόν τον agent.
Πόσο αργεί να εφαρμοστεί μια αλλαγή στο robots.txt;
Η Perplexity λέει ότι μπορεί να χρειαστούν έως και 24 ώρες για να αντικατοπτρίσουν τα συστήματά της τις αλλαγές.
Θα σταματήσει ο αποκλεισμός του PerplexityBot εντελώς τη χρήση του περιεχομένου μου από την Perplexity;
Όχι. Κρατά τις σελίδες σας εκτός της σάρωσης για το ευρετήριο αναζήτησης της Perplexity, αλλά ο Perplexity-User μπορεί και πάλι να ανακτήσει μια σελίδα όταν ένας χρήστης ρωτήσει γι' αυτήν, επειδή αυτός ο μηχανισμός ανάκτησης γενικά αγνοεί το robots.txt.
Πηγές
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Manage AI crawlers (AI Crawl Control)