AISeeWhy
EL
Έναρξη δωρεάν δοκιμής

Γιατί ο ιστότοπός μου δεν εμφανίζεται στην Perplexity;

Δημοσιεύθηκε

Σύντομη απάντηση

Η Perplexity μπορεί να εμφανίσει και να συνδέσει μόνο σελίδες που ο PerplexityBot έχει δικαίωμα να σαρώσει και που πράγματι λαμβάνει. Οι συνηθισμένες αιτίες είναι ένας κανόνας στο robots.txt που απαγορεύει τον PerplexityBot, ένα firewall ή CDN που του απαντά με 403 ή σελίδα πρόκλησης και κείμενο που εμφανίζεται μόνο αφού εκτελεστεί JavaScript. Ελέγξτε και τα τρία και έπειτα επιτρέψτε τα δημοσιευμένα εύρη IP της Perplexity.

Ρωτάτε την Perplexity για το προϊόν σας και αυτή παραθέτει έναν ανταγωνιστή, έναν ιστότοπο κριτικών ή ένα νήμα σε φόρουμ, αλλά ποτέ τις δικές σας σελίδες. Άλλοτε είναι θέμα σχετικότητας. Συχνά όμως πρόκειται για τεχνικό εμπόδιο που εντοπίζεται σε λίγα λεπτά. Η Perplexity τεκμηριώνει ποιους agents χρησιμοποιεί, τι κάνει ο καθένας και από πού προέρχεται η κίνησή τους, οπότε κάθε κρίκος της αλυσίδας μπορεί να ελεγχθεί: το robots.txt, η απάντηση που στέλνει ο server σας και το περιεχόμενο αυτής της απάντησης.

Σε αυτή τη σελίδα
  1. Πώς βρίσκει και διαβάζει σελίδες η Perplexity;
  2. Αποκλείει ο PerplexityBot το robots.txt σας;
  3. Αποκλείει η Perplexity το firewall ή το CDN σας;
  4. Πώς επιτρέπω την Perplexity με τα δημοσιευμένα εύρη IP της;
  5. Μπορεί η απόδοση με JavaScript να εμποδίσει την Perplexity να διαβάσει μια σελίδα;
  6. Τι γίνεται αν όλα είναι ανοιχτά και ο ιστότοπός μου εξακολουθεί να μην εμφανίζεται;

Πώς βρίσκει και διαβάζει σελίδες η Perplexity;

Η Perplexity τεκμηριώνει δύο agents. Έχουν διαφορετικό ρόλο και ένα πρόβλημα με οποιονδήποτε από τους δύο μπορεί να αφήσει τη σελίδα σας εκτός απάντησης.

Στην πράξη, ο PerplexityBot καθορίζει αν η Perplexity γνωρίζει τις σελίδες σας πριν ρωτήσει κάποιος, και ο Perplexity-User αν μπορεί να ανοίξει μια σελίδα ζωντανά όταν το χρειάζεται μια ερώτηση. Αν θέλετε να παρατίθεστε, και οι δύο πρέπει να λαμβάνουν την ίδια σελίδα που λαμβάνει ένας browser.

Αποκλείει ο PerplexityBot το robots.txt σας;

Ανοίξτε το https://yourdomain.com/robots.txt και αναζητήστε μια ομάδα που αναφέρει τον PerplexityBot. Αν δεν υπάρχει, ο crawler ακολουθεί την ομάδα User-agent: *. Σύμφωνα με το RFC 9309, η αντιστοίχιση δεν κάνει διάκριση πεζών και κεφαλαίων και μια ονομασμένη ομάδα αντικαθιστά πλήρως την ομάδα * αντί να προστίθεται σε αυτήν.

Αυτός ο αποκλεισμός είναι συχνός. Στη μελέτη μας για τα robots.txt των 1.000 δημοφιλέστερων domains, 86 από τους 518 ιστότοπους που σέρβιραν robots.txt (16,6%) απαγόρευαν την αρχική σελίδα στον PerplexityBot. Ήταν το υψηλότερο ποσοστό ανάμεσα στους crawlers AI αναζήτησης που δοκιμάσαμε· ο OAI-SearchBot ήταν αποκλεισμένος σε 58 ιστότοπους (11,2%). Κάποιοι από αυτούς τους ιστότοπους μπορεί να ήθελαν να σταματήσουν την εκπαίδευση AI, αλλά η Perplexity λέει ότι ο PerplexityBot δεν είναι crawler εκπαίδευσης, οπότε ο αποκλεισμός του κοστίζει ορατότητα στην αναζήτηση χωρίς να εξυπηρετεί αυτόν τον στόχο.

Μια ρύθμιση που αφήνει την Perplexity να μπει και κρατά κλειστή μια ιδιωτική περιοχή μοιάζει έτσι:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Ελέγξτε επίσης ότι το ίδιο το αρχείο απαντά σωστά. Αν το robots.txt επιστρέφει σφάλμα server, το RFC 9309 ορίζει ότι ο crawler πρέπει να υποθέσει ότι ολόκληρος ο ιστότοπος είναι απαγορευμένος. Μια διεύθυνση robots.txt που επιστρέφει σελίδα HTML με κατάσταση 200 δεν περιέχει έγκυρους κανόνες. Η Perplexity λέει ότι οι αλλαγές μπορεί να χρειαστούν έως και 24 ώρες για να εφαρμοστούν.

Αποκλείει η Perplexity το firewall ή το CDN σας;

Το robots.txt είναι αίτημα, όχι έλεγχος πρόσβασης. Το firewall, το CDN ή η προστασία από bots αποφασίζει τι επιστρέφεται πραγματικά και μπορεί να απαντά στην Perplexity με 403, 429 ή σελίδα πρόκλησης, ενώ οι δικές σας επισκέψεις από browser φαίνονται φυσιολογικές. Η τεκμηρίωση της Perplexity λέει ότι οι ιστότοποι πίσω από web application firewall (WAF) μπορεί να χρειάζεται να επιτρέψουν ρητά τα bots της.

Δοκιμάστε το ζητώντας το ίδιο URL ως browser και ως καθέναν από τους agents της Perplexity, και συγκρίνετε την κατάσταση και το μέγεθος:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Ένα 403, 429 ή 503 μόνο για τους agents της Perplexity, μια σελίδα με τίτλο Just a moment... ή μια απάντηση 200 πολύ μικρότερη από αυτή του browser δείχνουν το firewall. Αυτό το τεστ προέρχεται από τη δική σας διεύθυνση IP και όχι από της Perplexity, οπότε δείχνει πώς αντιμετωπίζουν οι κανόνες σας το user agent· οι κανόνες που βασίζονται σε IP μπορεί να συμπεριφέρονται αλλιώς στον πραγματικό crawler.

Αν χρησιμοποιείτε Cloudflare, προσέξτε δύο πράγματα. Η τεκμηρίωση της Perplexity επαναλαμβάνει τη δήλωση του ίδιου του Cloudflare ότι το Bot Fight Mode δεν μπορεί να παρακαμφθεί με προσαρμοσμένους κανόνες WAF, οπότε αν αυτή η λειτουργία θέτει πρόκληση στην Perplexity, ένας κανόνας επιτρεπόμενης πρόσβασης δεν θα βοηθήσει. Και τον Αύγουστο του 2025 το Cloudflare δήλωσε ότι αφαίρεσε την Perplexity από τη λίστα επαληθευμένων bots του, αφού παρατήρησε αυτό που περιέγραψε ως αδήλωτη σάρωση· η Perplexity αμφισβήτησε αυτή την περιγραφή. Οι κανόνες που αφήνουν να περάσουν μόνο επαληθευμένα bots μπορεί επομένως να μην καλύπτουν την Perplexity. Ελέγξτε την τρέχουσα κατάσταση στον πίνακα ελέγχου σας αντί να την υποθέτετε.

Πώς επιτρέπω την Perplexity με τα δημοσιευμένα εύρη IP της;

Οποιοσδήποτε μπορεί να στείλει αίτημα που δηλώνει ότι είναι ο PerplexityBot, οπότε ένας κανόνας επιτρεπόμενης πρόσβασης που ελέγχει μόνο το user agent αφήνει να περάσουν και μιμητές. Η Perplexity δημοσιεύει τα εύρη διευθύνσεων και των δύο agents και συνιστά να ελέγχετε μαζί το user agent και τη διεύθυνση IP:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Η Perplexity λέει ότι αυτές οι λίστες ενημερώνονται τακτικά και προτείνει να αυτοματοποιήσετε την ενημέρωση των κανόνων WAF σας. Τοποθετήστε τον κανόνα επιτρεπόμενης πρόσβασης πάνω από κάθε κανόνα που αποκλείει ή θέτει πρόκληση: πρώτο στους προσαρμοσμένους κανόνες του Cloudflare ή με μικρότερο αριθμό προτεραιότητας στο AWS WAF. Έπειτα παρακολουθήστε τα logs σας, γιατί οι αλλαγές στο firewall μπορεί να αργήσουν να διαδοθούν.

Μπορεί η απόδοση με JavaScript να εμποδίσει την Perplexity να διαβάσει μια σελίδα;

Μπορεί. Η τεκμηρίωση της Perplexity για τους crawlers δεν λέει αν οι agents της εκτελούν JavaScript, οπότε η ασφαλής υπόθεση είναι ότι το κείμενο που χρειάζεται ένας crawler πρέπει να υπάρχει στο HTML που στέλνει ο server. Σελίδες που χτίζονται εξ ολοκλήρου στον browser, όπως οι εφαρμογές μιας σελίδας χωρίς απόδοση στον server, μπορεί να φτάνουν ως κενό κέλυφος με ένδειξη φόρτωσης.

Ένας γρήγορος έλεγχος είναι να ανακτήσετε τη σελίδα με curl και να αναζητήσετε στην έξοδο μια πρόταση από το κύριο περιεχόμενό σας. Αν δεν υπάρχει, το κείμενο προστίθεται από scripts. Η απόδοση στον server, η στατική παραγωγή ή το prerendering για crawlers το λύνουν για όλους τους AI crawlers ταυτόχρονα, όχι μόνο για την Perplexity.

Τι γίνεται αν όλα είναι ανοιχτά και ο ιστότοπός μου εξακολουθεί να μην εμφανίζεται;

Η αναγνωσιμότητα είναι προϋπόθεση, όχι εγγύηση. Η Perplexity δεν δημοσιεύει πώς επιλέγει ποιες πηγές θα παραθέσει, οπότε μια σελίδα που μπορούν να διαβάσουν όλοι οι agents μπορεί πάλι να χάσει από σελίδες που απαντούν πιο άμεσα στην ερώτηση. Αυτό που ελέγχετε εσείς είναι να μη στέκεται τίποτα τεχνικό εμπόδιο: ένας σαφής τίτλος σελίδας, η απάντηση διατυπωμένη νωρίς στο κείμενο και ακριβή στοιχεία που συμφωνούν με όσα λέτε αλλού.

Θυμηθείτε και τι δεν καλύπτει το robots.txt. Η Perplexity λέει ότι ο Perplexity-User γενικά αγνοεί το robots.txt επειδή την ανάκτηση τη ζήτησε χρήστης. Ένας κανόνας για τον Perplexity-User δεν είναι επομένως αξιόπιστος τρόπος να αποκλείσετε ζωντανές επισκέψεις, και ένα robots.txt που τον επιτρέπει δεν αποδεικνύει ότι περνά από το firewall σας.

Το AISeeWhy ζητά τη σελίδα σας ως PerplexityBot, Perplexity-User και 12 άλλους crawlers δίπλα σε έναν browser, εφαρμόζει τους κανόνες του robots.txt σας για καθέναν, αναγνωρίζει τις σελίδες πρόκλησης και δείχνει πόσο κείμενο φτάνει χωρίς JavaScript, ώστε να δείτε ποιος κρίκος της αλυσίδας αποτυγχάνει.

Συχνές ερωτήσεις

Εκπαιδεύει η Perplexity τα μοντέλα της με το περιεχόμενό μου;

Η Perplexity λέει ότι ο PerplexityBot δεν χρησιμοποιείται για τη σάρωση περιεχομένου για θεμελιώδη μοντέλα AI και ότι ο Perplexity-User δεν συλλέγει περιεχόμενο για εκπαίδευση. Η απαγόρευση του PerplexityBot επομένως δεν λειτουργεί ως εξαίρεση από την εκπαίδευση· μειώνει μόνο την ορατότητά σας στα αποτελέσματα αναζήτησης της Perplexity.

Πόσο μετά τη διόρθωση του robots.txt θα το αντιληφθεί η Perplexity;

Η Perplexity λέει ότι μπορεί να χρειαστούν έως και 24 ώρες για να αποτυπωθούν στα συστήματά της οι αλλαγές στο robots.txt. Οι αλλαγές στο firewall ισχύουν όταν τις εφαρμόσει ο πάροχός σας, αλλά δώστε στον crawler χρόνο να επιστρέψει πριν κρίνετε το αποτέλεσμα.

Μπορώ να αποκλείσω τον Perplexity-User με το robots.txt;

Όχι αξιόπιστα. Η Perplexity λέει ότι ο μηχανισμός ανάκτησης γενικά αγνοεί το robots.txt επειδή την ανάκτηση τη ζήτησε χρήστης. Αν χρειάζεται να τον σταματήσετε, ένας κανόνας firewall που βασίζεται στα δημοσιευμένα εύρη IP του είναι ο αξιόπιστος έλεγχος.

Αρκεί ο έλεγχος του user agent για να αναγνωρίσω την κίνηση της Perplexity;

Όχι. Τα user agents αντιγράφονται εύκολα. Συγκρίνετε την IP προέλευσης με τα εύρη που δημοσιεύει η Perplexity στα perplexitybot.json και perplexity-user.json και ελέγχετε στους κανόνες του firewall μαζί το user agent και την IP.

Πηγές

Περισσότερα άρθρα