robots.txt-Generator für KI-Crawler
Wählen Sie, welche KI-Crawler Ihre Website lesen dürfen, und kopieren Sie die erzeugte robots.txt. Üblich ist, KI-Trainings-Crawler wie GPTBot und ClaudeBot zu blockieren, aber KI-Such-Crawler wie OAI-SearchBot und PerplexityBot zuzulassen, damit Ihre Seiten weiterhin in KI-Antworten erscheinen und zitiert werden können.
Das Blockieren von Abrufen auf Nutzeranfrage hat nur begrenzte Wirkung: Einige Anbieter geben an, dass diese Agenten robots.txt womöglich nicht befolgen, weil ein Mensch die Seite angefordert hat. Testen Sie das Ergebnis mit der robots.txt-Prüfung, bevor Sie es veröffentlichen. robots.txt-Checker für KI-Crawler →
So verwenden Sie sie
Legen Sie die Datei im Stammverzeichnis Ihrer Domain ab (https://example.com/robots.txt). Haben Sie bereits Regeln für andere Crawler, behalten Sie sie bei und fügen nur die KI-Gruppen hinzu. Änderungen wirken, sobald der jeweilige Crawler die Datei das nächste Mal liest, meist innerhalb eines Tages.