AISeeWhy
DE
Kostenlos testen

Die Crawler von Perplexity: PerplexityBot und Perplexity-User

Veröffentlicht

Kurz gesagt

Perplexity nutzt PerplexityBot, um Websites in den Suchergebnissen anzuzeigen und zu verlinken, und Perplexity-User, um Seiten zu besuchen, wenn die Frage eines Nutzers es erfordert. Laut Perplexity befolgt PerplexityBot die robots.txt und wird nicht zum Training von Foundation Models verwendet, während Perplexity-User die robots.txt in der Regel ignoriert, weil ein Nutzer den Abruf angefordert hat.

Perplexity ist auf Quellenangaben ausgelegt: Antworten kommen mit nummerierten Links zu den Seiten, auf die sie sich stützen. Die Crawler-Dokumentation ist kurz und sagt klar, welcher Agent die robots.txt befolgt und welcher nicht. Dieser Unterschied entscheidet darüber, welches Werkzeug Sie einsetzen, wenn Sie einen von beiden steuern wollen.

Auf dieser Seite
  1. Was macht PerplexityBot?
  2. Was macht Perplexity-User?
  3. Was steuert die robots.txt, und was nicht?
  4. Wie unterscheidet sich Perplexity von ChatGPT und Claude?
  5. Welche robots.txt sollte ich für Perplexity verwenden?
  6. Wie stelle ich sicher, dass die Firewall Perplexity nicht blockiert?

Was macht PerplexityBot?

PerplexityBot soll Websites in den Suchergebnissen von Perplexity anzeigen und verlinken. Laut Perplexity wird er nicht zum Crawlen von Inhalten für KI-Foundation-Models verwendet. Um in den Suchergebnissen von Perplexity zu erscheinen, empfiehlt Perplexity, PerplexityBot in der robots.txt zu erlauben.

Perplexity dokumentiert diesen User-Agent:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Die Versionsnummer kann sich ändern, deshalb sollten Firewall-Regeln auf den Token PerplexityBot prüfen. Die IP-Bereiche veröffentlicht Perplexity unter perplexity.ai/perplexitybot.json.

Was macht Perplexity-User?

Perplexity-User unterstützt Aktionen von Nutzern. Wenn jemand Perplexity eine Frage stellt, kann es eine Webseite besuchen, um eine genaue Antwort zu geben, und einen Link auf diese Seite einfügen. Laut Perplexity wird er weder zum Crawlen des Webs noch zum Sammeln von Trainingsdaten verwendet.

Sein dokumentierter User-Agent ist Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), und seine IP-Bereiche sind unter perplexity.ai/perplexity-user.json veröffentlicht.

Was steuert die robots.txt, und was nicht?

Das ist der entscheidende Punkt. Perplexity erklärt, dass Perplexity-User robots.txt-Regeln in der Regel ignoriert, weil ein Nutzer den Abruf angefordert hat. Eine robots.txt-Gruppe für PerplexityBot wirkt sich auf die Indexierung für die Suche aus; Abrufe im Auftrag eines Nutzers stoppt sie nicht zuverlässig.

Laut Perplexity wirkt jede robots.txt-Einstellung unabhängig, und es kann bis zu 24 Stunden dauern, bis Änderungen berücksichtigt werden.

Wie unterscheidet sich Perplexity von ChatGPT und Claude?

Alle drei Anbieter trennen einen Suchcrawler von einem Fetcher für Nutzeranfragen. Zwei Details heben Perplexity ab. Erstens betreibt es keinen eigenen Training-Crawler: Laut Perplexity wird PerplexityBot nicht zum Crawlen von Inhalten für KI-Foundation-Models verwendet, es gibt also keinen Training-Token, über den Sie entscheiden müssten. Zweitens sagt es ausdrücklich, dass sein User-Fetcher die robots.txt in der Regel ignoriert, während OpenAI sagt, die robots.txt gelte für ChatGPT-User möglicherweise nicht, und Anthropic sagt, seine Bots, einschließlich Claude-User, befolgen die robots.txt.

In der Praxis bedeutet das: eine einzige Entscheidung für den Suchcrawler von Perplexity in der robots.txt und eine Firewall-Entscheidung, falls Sie je Abrufe auf Nutzerwunsch stoppen möchten.

Welche robots.txt sollte ich für Perplexity verwenden?

Wenn Sie zitiert werden möchten, erlauben Sie den Suchcrawler ausdrücklich. Denken Sie daran, dass eine benannte Gruppe keine Regeln von * erbt; wiederholen Sie also private Pfade:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Da PerplexityBot kein Training-Crawler ist, würde das Sperren, um das Modelltraining auszuschließen, Sie Sichtbarkeit in der Suche kosten, ohne dieses Ziel zu erreichen.

Wenn Sie eine Sitemap in der robots.txt aufführen, setzen Sie die Zeile Sitemap: außerhalb jeder Gruppe oder ans Ende der Datei; sie gilt für alle Crawler. Achten Sie auch darauf, dass die Sitemap selbst nicht von Ihrer Firewall blockiert wird, denn ein Crawler, der sie nicht abrufen kann, kann damit keine neuen oder geänderten Seiten finden.

Wie stelle ich sicher, dass die Firewall Perplexity nicht blockiert?

Bot-Schutz behandelt oft jede Anfrage, die nicht von einem Browser kommt, als verdächtig. Rufen Sie Ihre Seite mit jedem Perplexity-User-Agent ab und vergleichen Sie die Antwort mit einer Browser-Anfrage. Erhält der Crawler einen 403, einen 429 oder eine Challenge-Seite, fügen Sie eine Allow-Regel hinzu, die auf den Token und idealerweise auf die veröffentlichten IP-Bereiche prüft, sodass nur echter Perplexity-Traffic durchkommt. In Cloudflare listet AI Crawl Control KI-Crawler mit je einer Aktion Allow oder Block auf.

Verifizieren Sie, statt dem User-Agent zu vertrauen. Jeder kann eine Anfrage senden, die PerplexityBot angibt; eine Allow-Regel allein auf Basis des User-Agents lässt also auch Nachahmer durch, und eine darauf basierende Sperre lässt sich umgehen. Der Abgleich der Quell-IP mit den veröffentlichten Listen von Perplexity macht beide Arten von Regeln verlässlich.

AISeeWhy testet PerplexityBot und Perplexity-User neben 12 weiteren Crawlern. Weil beide entscheiden, ob Perplexity Ihre Seite in einer Antwort verwenden kann, wird die Sperre eines der beiden als P1 gemeldet, mit der Regel zur Behebung.

Häufige Fragen

Nutzt Perplexity meine Inhalte, um KI-Modelle zu trainieren?

Laut Perplexity wird weder PerplexityBot noch Perplexity-User verwendet, um Inhalte für das Training von KI-Foundation-Models zu sammeln.

Warum ignoriert Perplexity-User die robots.txt?

Perplexity begründet es so: Ein Nutzer hat die Seite angefordert, der Abruf erfolgt also in seinem Auftrag und nicht als automatisches Crawling. Aus diesem Grund ignoriert der Fetcher laut Dokumentation die robots.txt in der Regel.

Wie kann ich Perplexity-User sperren, falls nötig?

Über Ihre Firewall oder Ihr CDN, mit Abgleich des User-Agent-Tokens und der veröffentlichten IP-Bereiche von Perplexity. Die robots.txt ist für diesen Agenten keine verlässliche Kontrolle.

Wie lange dauert es, bis eine robots.txt-Änderung greift?

Laut Perplexity kann es bis zu 24 Stunden dauern, bis seine Systeme Änderungen übernehmen.

Verhindert das Sperren von PerplexityBot, dass Perplexity meine Inhalte überhaupt nutzt?

Nein. Es hält Ihre Seiten aus dem Crawl für den Suchindex von Perplexity heraus, aber Perplexity-User kann eine Seite weiterhin abrufen, wenn ein Nutzer danach fragt, denn dieser Fetcher ignoriert die robots.txt in der Regel.

Quellen

Weitere Artikel