AISeeWhy
DE
Kostenlos testen

Warum erscheint meine Website nicht in Perplexity?

Veröffentlicht

Kurz gesagt

Perplexity kann nur Seiten anzeigen und verlinken, die PerplexityBot crawlen darf und tatsächlich erhält. Die üblichen Ursachen sind eine robots.txt-Regel, die PerplexityBot sperrt, eine Firewall oder ein CDN, das ihm mit einem 403 oder einer Challenge-Seite antwortet, und Text, der erst nach der Ausführung von JavaScript erscheint. Prüfen Sie alle drei und erlauben Sie dann die veröffentlichten IP-Bereiche von Perplexity.

Sie fragen Perplexity nach Ihrem Produkt, und es zitiert einen Wettbewerber, eine Bewertungsseite oder einen Forenbeitrag, aber nie Ihre eigenen Seiten. Manchmal ist das eine Frage der Relevanz. Oft steckt eine technische Sperre dahinter, die sich in wenigen Minuten finden lässt. Perplexity dokumentiert, welche Agenten es einsetzt, was jeder davon tut und woher der Traffic kommt, sodass sich jedes Glied der Kette prüfen lässt: die robots.txt, die Antwort Ihres Servers und der Inhalt dieser Antwort.

Auf dieser Seite
  1. Wie findet und liest Perplexity Seiten?
  2. Sperrt Ihre robots.txt PerplexityBot?
  3. Blockiert Ihre Firewall oder Ihr CDN Perplexity?
  4. Wie erlaube ich Perplexity über die veröffentlichten IP-Bereiche?
  5. Kann JavaScript-Rendering verhindern, dass Perplexity eine Seite liest?
  6. Was, wenn alles offen ist und meine Website trotzdem nicht erscheint?

Wie findet und liest Perplexity Seiten?

Perplexity dokumentiert zwei Agenten. Sie haben unterschiedliche Aufgaben, und ein Problem mit einem von beiden kann Ihre Seite aus einer Antwort heraushalten.

In der Praxis entscheidet PerplexityBot, ob Perplexity Ihre Seiten kennt, bevor jemand fragt, und Perplexity-User entscheidet, ob es eine Seite live öffnen kann, wenn eine Frage das erfordert. Wenn Sie zitiert werden möchten, sollten beide dieselbe Seite erhalten wie ein Browser.

Sperrt Ihre robots.txt PerplexityBot?

Öffnen Sie https://yourdomain.com/robots.txt und suchen Sie eine Gruppe, die PerplexityBot nennt. Gibt es keine, folgt der Crawler der Gruppe User-agent: *. Nach RFC 9309 wird ohne Beachtung der Groß- und Kleinschreibung verglichen, und eine benannte Gruppe ersetzt die *-Gruppe vollständig, statt sie zu ergänzen.

Diese Sperre ist verbreitet. In unserer Untersuchung der robots.txt-Dateien der 1.000 beliebtesten Domains haben 86 der 518 Websites, die eine robots.txt auslieferten (16,6 %), die Startseite für PerplexityBot gesperrt. Das war der höchste Anteil aller getesteten KI-Suchcrawler; OAI-SearchBot war auf 58 Websites (11,2 %) gesperrt. Manche dieser Websites wollten vielleicht das KI-Training unterbinden, doch laut Perplexity ist PerplexityBot kein Trainingscrawler. Die Sperre kostet also Sichtbarkeit in der Suche, ohne diesem Ziel zu dienen.

Eine Konfiguration, die Perplexity hereinlässt und einen privaten Bereich geschlossen hält, sieht so aus:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Prüfen Sie auch, ob die Datei selbst korrekt antwortet. Liefert die robots.txt einen Serverfehler, muss ein Crawler nach RFC 9309 annehmen, dass die gesamte Website gesperrt ist. Eine robots.txt-Adresse, die eine HTML-Seite mit Status 200 zurückgibt, enthält keine gültigen Regeln. Perplexity gibt an, dass es bis zu 24 Stunden dauern kann, bis Änderungen berücksichtigt werden.

Blockiert Ihre Firewall oder Ihr CDN Perplexity?

Die robots.txt ist eine Bitte, keine Zugriffskontrolle. Ihre Firewall, Ihr CDN oder Ihr Bot-Schutz entscheidet, was tatsächlich zurückgeschickt wird, und kann Perplexity mit einem 403, einem 429 oder einer Challenge-Seite antworten, während Ihre eigenen Browserbesuche normal aussehen. Laut der Dokumentation von Perplexity müssen Websites hinter einer Web Application Firewall deren Bots möglicherweise ausdrücklich erlauben.

Testen Sie es, indem Sie dieselbe URL als Browser und als jeden Perplexity-Agenten abrufen und Status und Größe vergleichen:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Ein 403, 429 oder 503 nur für die Perplexity-Agenten, eine Seite mit dem Titel Just a moment... oder eine 200-Antwort, die deutlich kleiner ist als die des Browsers, deuten allesamt auf die Firewall hin. Dieser Test kommt von Ihrer IP-Adresse, nicht von der von Perplexity, und zeigt daher, wie Ihre Regeln den User-Agent behandeln; IP-basierte Regeln können sich beim echten Crawler trotzdem anders verhalten.

Wenn Sie Cloudflare nutzen, sind zwei Dinge zu beachten. Die Dokumentation von Perplexity wiederholt Cloudflares eigene Aussage, dass sich der Bot Fight Mode nicht mit benutzerdefinierten WAF-Regeln umgehen lässt. Wenn diese Funktion Perplexity per Challenge ausbremst, hilft eine Erlauben-Regel also nicht. Und im August 2025 erklärte Cloudflare, Perplexity aus seiner Liste verifizierter Bots entfernt zu haben, nachdem es nach eigener Beschreibung nicht deklariertes Crawling beobachtet hatte; Perplexity widersprach dieser Darstellung. Regeln, die nur verifizierte Bots durchlassen, erfassen Perplexity deshalb möglicherweise nicht. Prüfen Sie den aktuellen Stand in Ihrem Dashboard, statt ihn vorauszusetzen.

Wie erlaube ich Perplexity über die veröffentlichten IP-Bereiche?

Jeder kann eine Anfrage senden, die sich als PerplexityBot ausgibt. Eine Erlauben-Regel, die nur den User-Agent prüft, lässt daher auch Nachahmer durch. Perplexity veröffentlicht die Adressbereiche beider Agenten und empfiehlt, User-Agent und IP-Adresse gemeinsam abzugleichen:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Laut Perplexity werden diese Listen regelmäßig aktualisiert; das Unternehmen empfiehlt, die Aktualisierung Ihrer WAF-Regeln zu automatisieren. Setzen Sie die Erlauben-Regel vor jede Regel, die Anfragen blockiert oder per Challenge prüft: in den benutzerdefinierten Regeln von Cloudflare an die erste Stelle, in AWS WAF mit einer niedrigeren Prioritätsnummer. Beobachten Sie danach Ihre Logs, denn Firewall-Änderungen brauchen mitunter Zeit, bis sie greifen.

Kann JavaScript-Rendering verhindern, dass Perplexity eine Seite liest?

Ja, das kann es. Die Crawler-Dokumentation von Perplexity sagt nicht, ob die Agenten JavaScript ausführen. Sicherer ist deshalb die Annahme, dass der Text, den ein Crawler braucht, im vom Server gesendeten HTML stehen sollte. Seiten, die vollständig im Browser aufgebaut werden, etwa Single-Page-Apps ohne serverseitiges Rendering, können als leere Hülle mit einem Ladesymbol ankommen.

Eine schnelle Prüfung: Rufen Sie die Seite mit curl ab und suchen Sie in der Ausgabe nach einem Satz aus Ihrem Hauptinhalt. Fehlt er, wird der Text per Skript ergänzt. Serverseitiges Rendering, statische Generierung oder Prerendering für Crawler löst das für alle KI-Crawler zugleich, nicht nur für Perplexity.

Was, wenn alles offen ist und meine Website trotzdem nicht erscheint?

Lesbarkeit ist eine Voraussetzung, keine Garantie. Perplexity veröffentlicht nicht, nach welchen Kriterien es Quellen zum Zitieren auswählt, sodass eine Seite, die jeder Agent lesen kann, trotzdem gegenüber Seiten unterliegen kann, die die Frage direkter beantworten. Sie können dafür sorgen, dass nichts Technisches im Weg steht: ein klarer Seitentitel, die Antwort früh im Text und korrekte Angaben, die zu dem passen, was Sie an anderer Stelle sagen.

Bedenken Sie außerdem, was die robots.txt nicht abdeckt. Laut Perplexity ignoriert Perplexity-User die robots.txt in der Regel, weil ein Nutzer den Abruf angefordert hat. Eine Regel für Perplexity-User ist daher kein verlässliches Mittel, Live-Besuche zu blockieren, und eine robots.txt, die ihn erlaubt, ist kein Beleg dafür, dass er Ihre Firewall passiert.

AISeeWhy ruft Ihre Seite als PerplexityBot, Perplexity-User und 12 weitere Crawler neben einem Browser ab, wendet Ihre robots.txt-Regeln für jeden an, erkennt Challenge-Seiten und zeigt, wie viel vom Text ohne JavaScript ankommt, sodass Sie sehen, welches Glied der Kette ausfällt.

Häufige Fragen

Trainiert Perplexity seine Modelle mit meinen Inhalten?

Perplexity gibt an, dass PerplexityBot nicht zum Crawlen von Inhalten für KI-Foundation-Modelle verwendet wird und dass Perplexity-User keine Inhalte für das Training sammelt. Eine Sperre von PerplexityBot ist daher kein Opt-out vom Training; sie verringert nur Ihre Sichtbarkeit in den Suchergebnissen von Perplexity.

Wie lange nach der Korrektur der robots.txt bemerkt Perplexity die Änderung?

Perplexity gibt an, dass es bis zu 24 Stunden dauern kann, bis seine Systeme Änderungen an der robots.txt übernehmen. Firewall-Änderungen wirken, sobald Ihr Anbieter sie anwendet; geben Sie dem Crawler aber Zeit zurückzukehren, bevor Sie das Ergebnis beurteilen.

Kann ich Perplexity-User per robots.txt sperren?

Nicht verlässlich. Laut Perplexity ignoriert der Abruf die robots.txt in der Regel, weil ein Nutzer ihn angefordert hat. Wenn Sie ihn stoppen müssen, ist eine Firewall-Regel auf Basis der veröffentlichten IP-Bereiche die zuverlässige Kontrolle.

Genügt eine User-Agent-Prüfung, um Perplexity-Traffic zu erkennen?

Nein. User-Agents lassen sich leicht kopieren. Vergleichen Sie die Quell-IP mit den Bereichen, die Perplexity in perplexitybot.json und perplexity-user.json veröffentlicht, und gleichen Sie in Firewall-Regeln User-Agent und IP gemeinsam ab.

Quellen

Weitere Artikel