GPTBot
GPTBot ist der Crawler von OpenAI für Inhalte, die zum Training seiner generativen KI-Basismodelle verwendet werden können. Wenn Sie ihn in der robots.txt sperren, teilen Sie OpenAI mit, dass Ihre Inhalte nicht für das Training genutzt werden sollen. Ihre Präsenz in den Suchantworten von ChatGPT bleibt davon unberührt, denn diese hängt von OAI-SearchBot ab.
Was er tut
Laut OpenAI dient GPTBot dazu, die generativen KI-Basismodelle des Unternehmens nützlicher und sicherer zu machen. Er erfasst Inhalte, die zum Training dieser Modelle verwendet werden können; wer GPTBot sperrt, signalisiert, dass die Inhalte einer Website nicht für das Training genutzt werden sollen.
Ob Sie ihn zulassen, ist eine Frage der Richtlinie, nicht der Sichtbarkeit. Die ChatGPT-Suche verwendet einen separaten Crawler, OAI-SearchBot, und OpenAI dokumentiert die beiden Einstellungen als voneinander unabhängig. Sind beide erlaubt, kann OpenAI nach eigener Aussage die Ergebnisse eines Abrufs für beide Zwecke verwenden, um doppeltes Crawlen zu vermeiden.
In unserer Studie vom 2026-11 blockierten 21.4% der beliebten Websites mit einer robots.txt ihn. →
robots.txt-Token
GPTBot
User-Agent-String
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotSo lassen Sie ihn zu
User-agent: GPTBot
Allow: /So blockieren Sie ihn
User-agent: GPTBot
Disallow: /So prüfen Sie echte Besuche
OpenAI veröffentlicht die IP-Bereiche, die dieser Agent verwendet, als JSON-Datei. Gleichen Sie die Quell-IP der Anfrage mit diesen Bereichen ab; eine Anfrage, die GPTBot nennt, aber von einer anderen Adresse kommt, stammt nicht von OpenAI. OpenAI weist darauf hin, dass sich die Versionsnummer im User-Agent ändern kann; vergleichen Sie daher das Token GPTBot und nicht den vollständigen String.
Prüfen, ob Ihre Website ihn hereinlässt →
Die OpenAI-Crawler erklärt: GPTBot, OAI-SearchBot und ChatGPT-User →