AISeeWhy
DE
Kostenlos testen

Die OpenAI-Crawler erklärt: GPTBot, OAI-SearchBot und ChatGPT-User

Veröffentlicht

Kurz gesagt

OpenAI nutzt GPTBot, um Inhalte zu sammeln, die zum Training seiner Modelle dienen können, OAI-SearchBot, um Seiten für die ChatGPT-Suche zu indexieren, und ChatGPT-User für Besuche, um die eine Person bittet. Das Sperren von GPTBot schließt nur das Training aus. Das Sperren von OAI-SearchBot nimmt Sie aus den Suchantworten von ChatGPT heraus. Für ChatGPT-User gilt die robots.txt möglicherweise nicht.

Drei verschiedene User-Agents desselben Unternehmens, jeder mit eigenem robots.txt-Token, sorgen für viel Verwirrung. Viele Websites haben GPTBot gesperrt, als er auftauchte, und einige stellten später fest, dass sie damit auch den Crawler gesperrt hatten, der darüber entscheidet, ob ChatGPT sie zitieren kann, oft durch eine zu breite Firewall-Regel. Dieser Artikel geht anhand der eigenen Dokumentation von OpenAI jeden Agenten durch.

Auf dieser Seite
  1. Was macht GPTBot?
  2. Was macht OAI-SearchBot?
  3. Was macht ChatGPT-User?
  4. Was passiert, wenn ich die einzelnen Crawler sperre?
  5. Welche robots.txt sollte ich für die OpenAI-Crawler verwenden?
  6. Wie stelle ich sicher, dass die Firewall sie durchlässt?

Was macht GPTBot?

GPTBot durchsucht Inhalte, die zum Training der generativen KI-Foundation-Models von OpenAI verwendet werden können. Laut der Dokumentation von OpenAI zeigt ein Disallow für GPTBot an, dass die Inhalte einer Website nicht für das Training dieser Modelle genutzt werden sollen.

Sein User-Agent enthält den Token GPTBot, zum Beispiel Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI weist darauf hin, dass sich die Versionsnummer ändern kann; prüfen Sie daher auf den Token, nicht auf den vollständigen String. Die IP-Bereiche veröffentlicht OpenAI unter openai.com/gptbot.json.

Ob Sie ihn zulassen, ist eine Grundsatzentscheidung. Manche Publisher wollen ihre Inhalte in Trainingsdaten haben, andere nicht. Das Sperren wirkt sich nicht auf die ChatGPT-Suche aus, denn dafür ist ein anderer Crawler zuständig. Wenn Sie es sich später anders überlegen, genügt es, die Zeile Disallow zu entfernen; man muss sich nirgends registrieren oder etwas beantragen.

Was macht OAI-SearchBot?

OAI-SearchBot ist der Suchcrawler von OpenAI. Er sorgt dafür, dass Websites in den Suchfunktionen von ChatGPT erscheinen. OpenAI sagt unmissverständlich, dass Websites, die OAI-SearchBot ausgeschlossen haben, in den Suchantworten von ChatGPT nicht angezeigt werden.

Wenn ChatGPT Ihre Seiten zitieren soll, ist dies der Crawler, den Sie zulassen sollten, sowohl in der robots.txt als auch in Ihrer Firewall. Seine IP-Bereiche sind unter openai.com/searchbot.json veröffentlicht, sodass eine Firewall prüfen kann, ob eine Anfrage tatsächlich von OpenAI stammt.

Was macht ChatGPT-User?

ChatGPT-User ist kein Crawler im üblichen Sinn. Er ruft eine Seite ab, wenn ein ChatGPT-Nutzer oder ein Custom GPT darum bittet, etwa wenn jemand Ihre URL in einen Chat einfügt und um eine Zusammenfassung bittet. Laut OpenAI wird er nicht zum automatischen Durchsuchen des Webs verwendet.

Zwei Details aus der Dokumentation von OpenAI sind hier wichtig. Erstens: Weil diese Aktionen von einem Nutzer ausgelöst werden, gelten robots.txt-Regeln möglicherweise nicht. Zweitens: ChatGPT-User wird nicht verwendet, um zu bestimmen, ob Inhalte in der Suche erscheinen dürfen. Für die Suche zählt die Einstellung für OAI-SearchBot.

Was passiert, wenn ich die einzelnen Crawler sperre?

OpenAI weist außerdem darauf hin, dass es die Ergebnisse eines Crawls für beide Zwecke nutzen kann, wenn GPTBot und OAI-SearchBot erlaubt sind, um nicht doppelt zu crawlen.

Welche robots.txt sollte ich für die OpenAI-Crawler verwenden?

Für die meisten Websites, die in ChatGPT-Antworten erscheinen wollen, gilt: den Suchcrawler zulassen und über das Training getrennt entscheiden. Diese Datei erlaubt die Suche und schließt das Training aus:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /
Disallow: /admin/

Beachten Sie ein Detail aus RFC 9309: Ein Crawler folgt der Gruppe, die ihn nennt, und ignoriert die Gruppe *. Im Beispiel oben dürfte OAI-SearchBot auf /admin/ zugreifen, weil seine eigene Gruppe keine Zeile Disallow: /admin/ enthält. Wiederholen Sie Pfade, die privat bleiben sollen, deshalb in jeder benannten Gruppe. Laut OpenAI können Änderungen für die Suche etwa 24 Stunden brauchen, bis sie greifen.

Wie stelle ich sicher, dass die Firewall sie durchlässt?

Die robots.txt legt nur Ihre Richtlinie fest. Die Firewall oder das CDN entscheidet, was jede Anfrage tatsächlich erhält. Rufen Sie eine Seite mit dem User-Agent jedes Crawlers ab und vergleichen Sie Statuscode und Größe mit einer Browser-Anfrage. Ein 403, ein 429 oder eine Challenge-Seite für den Crawler bei normaler Seite für den Browser bedeutet, dass die Firewall Ihre robots.txt überstimmt.

AISeeWhy führt diesen Vergleich für alle drei OpenAI-Agenten gleichzeitig durch, stuft Sperren von OAI-SearchBot und ChatGPT-User als P1 ein, weil sie Zitate kosten, und führt einen gesperrten GPTBot als P3 auf, also als Richtlinienentscheidung und nicht als Fehler.

Häufige Fragen

Ist GPTBot dasselbe wie ChatGPT?

Nein. GPTBot ist ein Crawler für Trainingsdaten. Die ChatGPT-Suche nutzt OAI-SearchBot, und Live-Besuche auf Nutzerwunsch kommen von ChatGPT-User.

Kann ich die ChatGPT-Suche erlauben, aber das Training sperren?

Ja. Erlauben Sie OAI-SearchBot und sperren Sie GPTBot in der robots.txt. OpenAI dokumentiert die beiden Einstellungen als unabhängig.

Sollte ich OpenAI per IP-Adresse sperren?

Eine Sperre per IP verhindert, dass der Crawler Ihre robots.txt liest, und macht Ihre Richtlinie schwerer änderbar. Meist ist es besser, die Richtlinie in der robots.txt festzulegen und die veröffentlichten IP-Bereiche zur Verifizierung der OpenAI-Crawler zu nutzen, nicht zu deren Sperrung.

Warum auf den Token prüfen und nicht auf den vollständigen User-Agent?

Laut OpenAI kann sich die Versionsnummer in den User-Agents ändern, und die veröffentlichten Beispiel-Strings unterscheiden sich je nach Crawler. Regeln, die auf GPTBot oder OAI-SearchBot prüfen, funktionieren nach einem Update weiter; Regeln, die auf den exakten String prüfen, können unbemerkt nicht mehr greifen.

Quellen

Weitere Artikel