AISeeWhy
DE
Kostenlos testen

Kann ChatGPT meine Website sehen? So prüfen Sie es

Veröffentlicht

Kurz gesagt

ChatGPT kann Ihre Seite nur zitieren, wenn der Suchcrawler von OpenAI, OAI-SearchBot, sie abrufen darf und dasselbe HTML erhält wie ein Browser. Prüfen Sie drei Dinge: Ihre robots.txt verbietet OAI-SearchBot nicht, Ihre Firewall oder Ihr CDN antwortet ihm nicht mit einem 403 oder einer Challenge-Seite, und der Haupttext steht im ursprünglichen HTML.

Viele Website-Betreiber fragen ChatGPT nach ihrem eigenen Produkt, sehen stattdessen einen Wettbewerber zitiert und fragen sich, ob ChatGPT ihre Seite überhaupt erreicht. Darauf gibt es eine konkrete, überprüfbare Antwort. OpenAI veröffentlicht die Namen seiner Crawler und deren Aufgaben, sodass sich jedes Glied der Kette prüfen lässt: die Regeln in der robots.txt, die Antwort Ihres Servers und der Inhalt dieser Antwort.

Auf dieser Seite
  1. Welche OpenAI-Crawler sind für ChatGPT-Antworten wichtig?
  2. Wie prüfe ich meine robots.txt für ChatGPT?
  3. Kann eine Firewall ChatGPT blockieren, obwohl die robots.txt es erlaubt?
  4. Wie teste ich, was OAI-SearchBot erhält?
  5. Was, wenn die Seite lädt, ChatGPT aber trotzdem nichts Brauchbares sagt?
  6. Wie prüft AISeeWhy das?

Welche OpenAI-Crawler sind für ChatGPT-Antworten wichtig?

OpenAI dokumentiert drei Agenten, denen Website-Betreiber meist begegnen. Sie haben unterschiedliche Aufgaben, und das Sperren des einen sperrt die anderen nicht. Laut OpenAI ist jede robots.txt-Einstellung unabhängig.

Kurz gesagt: OAI-SearchBot steuert Zitate, GPTBot steuert das Training, und ChatGPT-User übernimmt Live-Besuche auf Wunsch eines Nutzers.

Wie prüfe ich meine robots.txt für ChatGPT?

Öffnen Sie https://yourdomain.com/robots.txt im Browser. Suchen Sie eine Gruppe, die OAI-SearchBot nennt. Gibt es keine, folgt der Crawler der Gruppe User-agent: *. Ein Disallow: / in der jeweils geltenden Gruppe sperrt die gesamte Website.

Prüfen Sie außerdem, ob die Datei überhaupt antwortet. Nach RFC 9309 muss ein Crawler annehmen, dass die gesamte Website gesperrt ist, wenn die robots.txt einen Serverfehler (5xx) liefert oder nicht erreichbar ist. Ein 404 ist in Ordnung: Er bedeutet, dass es keine Regeln gibt. Ein häufiger Fehler ist eine robots.txt-Adresse, die eine HTML-Seite mit Status 200 zurückgibt, denn dann finden Crawler darin keine gültigen Regeln.

Eine Konfiguration, die die ChatGPT-Suche zulässt und das Training ausschließt, sieht so aus:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

Laut OpenAI kann es nach einer Änderung der robots.txt etwa 24 Stunden dauern, bis sich Anpassungen für die Suche auswirken.

Kann eine Firewall ChatGPT blockieren, obwohl die robots.txt es erlaubt?

Ja, und das ist eine häufige Ursache. Die robots.txt ist eine Bitte an gut erzogene Crawler, keine Zugriffskontrolle. Ihre Firewall, Ihr CDN oder Ihr Bot-Schutz entscheidet, was tatsächlich zurückgeschickt wird. Behandelt sie einen KI-Crawler als unerwünschten Bot, erhält dieser einen 403, einen 429 oder eine Challenge-Seite wie den Cloudflare-Bildschirm „Just a moment...“, während Besucher im Browser die Seite normal sehen.

Von außen wirkt die Website offen für alle. Den Unterschied zeigt nur eine Anfrage, die sich als Crawler zu erkennen gibt. Dann sagt die robots.txt Ja, der Server sagt Nein, und der Server setzt sich durch.

Wie teste ich, was OAI-SearchBot erhält?

Senden Sie zwei Anfragen an dieselbe URL, eine mit dem User-Agent eines Browsers und eine mit dem des Crawlers, und vergleichen Sie Statuscode und Größe. OpenAI veröffentlicht für jeden Crawler einen Beispiel-User-Agent; die Versionsnummer darin kann sich ändern.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Erhält der Browser 200 mit großem Inhalt und der Crawler 403, 429, 503 oder einen deutlich kleineren Inhalt, behandelt Ihre Firewall den Crawler anders. Eine Einschränkung gilt: Ihr Test kommt von Ihrer eigenen IP-Adresse, nicht von der von OpenAI. Firewalls, die Crawler anhand der veröffentlichten IP-Bereiche verifizieren (OpenAI listet sie unter openai.com/searchbot.json), lassen den echten Crawler möglicherweise durch und blockieren Ihren Test. Eine Blockade in diesem Test zeigt dennoch, wie die Firewall den User-Agent behandelt, und das sollten Sie beheben.

Was, wenn die Seite lädt, ChatGPT aber trotzdem nichts Brauchbares sagt?

Zugriff ist nur der erste Schritt. Ist das ankommende HTML eine leere Hülle, die erst später per JavaScript gefüllt wird, erhält der Crawler womöglich kaum Text. Sehen Sie sich das rohe HTML mit curl oder dem Quelltext Ihres Browsers an: Fehlt dort der Haupttext, sieht ihn der Crawler vermutlich ebenfalls nicht.

Danach kommen die inhaltlichen Signale: eine klare Kurzantwort weit oben auf der Seite, Überschriften, die den Fragen der Menschen entsprechen, ein genannter Herausgeber und Autor sowie sichtbare Datumsangaben. Ein Zitat garantiert das nicht, aber die Seite lässt sich damit leichter korrekt wiedergeben.

Wie prüft AISeeWhy das?

AISeeWhy ruft Ihre Seite als OAI-SearchBot, GPTBot, ChatGPT-User und 11 weitere Crawler neben einem normalen Browser ab, liest Ihre robots.txt nach den Regeln von RFC 9309 und nennt die Firewall, wenn diese mit einer Sperre oder Challenge antwortet. Zu jedem Befund gibt es die Lösung zum Einfügen, und die kostenlose Prüfung zeigt Ihren Score und den ersten Befund.

Häufige Fragen

Entfernt das Sperren von GPTBot meine Website aus der ChatGPT-Suche?

Nein. OpenAI behandelt jede Crawler-Einstellung als unabhängig. GPTBot betrifft das Training, während OAI-SearchBot entscheidet, ob Seiten in den Suchantworten von ChatGPT angezeigt werden können. Sie können den einen sperren und den anderen erlauben.

Befolgt ChatGPT-User die robots.txt?

Laut OpenAI gelten robots.txt-Regeln möglicherweise nicht, weil diese Besuche von einem Nutzer ausgelöst werden. Wenn Sie diese Besuche unterbinden möchten, ist eine robots.txt-Regel keine verlässliche Kontrolle.

Wie lange dauert es, bis eine robots.txt-Änderung bei ChatGPT ankommt?

Laut OpenAI kann es nach einer Aktualisierung der robots.txt etwa 24 Stunden dauern, bis sich die Systeme für die Suche anpassen.

Reicht es, erreichbar zu sein, um zitiert zu werden?

Nein. Zugriff macht ein Zitat möglich, garantiert es aber nicht. Ob eine Seite in einer Antwort verwendet wird, hängt weiterhin davon ab, was sie sagt und wie klar sie es sagt.

Quellen

Weitere Artikel