So prüfen Sie, ob eine Website KI-Crawler blockiert
Geben Sie eine beliebige Adresse ein und sehen Sie, ob sie GPTBot, ClaudeBot, PerplexityBot und andere KI-Crawler blockiert: in der robots.txt, in der Firewall oder in beiden.
Kostenlos · Ohne Anmeldung · Ergebnis in 30 Sekunden
Welche Crawler blockiert sind
Training-, Such- und Nutzer-Crawler werden getrennt angezeigt, denn wer GPTBot sperrt, sperrt damit nicht OAI-SearchBot, und wer ClaudeBot sperrt, sperrt nicht Claude-SearchBot.
Die entscheidende Zeile
Für jeden Crawler wird die robots.txt nach den Regeln von RFC 9309 gelesen: die Gruppe, die ihn nennt, ersatzweise User-agent: *, und die Regel, die sich durchsetzt.
Abweisungen durch die Firewall
Die Seite wird als 14 Crawler und als normaler Browser abgerufen. Sperren und Challenge-Seiten werden markiert, und die antwortende Firewall wird benannt.
Eine Lösung für jeden Befund
Zu jedem Befund gibt es die nötige Änderung. Die kostenlose Prüfung zeigt Ihren Score und den ersten Befund; der vollständige Bericht kostet einmalig $29.
Eine Website kann KI-Crawler an zwei Stellen sperren: in der robots.txt, die Crawler bittet, fernzubleiben, und auf dem Server oder in der Firewall, die sie tatsächlich abweisen. Suchen Sie in der robots.txt das Token jedes Crawlers, ersatzweise User-agent: *, rufen Sie dann die Seite als Crawler ab und vergleichen Sie das Ergebnis mit einem Browser. Eine Browsererweiterung erledigt den robots.txt-Teil für 16 KI-Crawler mit einem Klick.
In 3 Schritten von Hand prüfen
- Crawler auswählen
Jedes KI-Unternehmen betreibt mehrere getrennte Crawler. Training:
GPTBot,ClaudeBot. Suche:OAI-SearchBot,Claude-SearchBot,PerplexityBot. Auf Anfrage eines Nutzers:ChatGPT-User,Claude-User,Perplexity-User. - robots.txt für ihn lesen
Öffnen Sie
https://example.com/robots.txtund suchen Sie die Gruppe, die den Crawler nennt. Gibt es keine, gilt die GruppeUser-agent: *; gibt es auch diese nicht, ist alles erlaubt. - Seite als Crawler abrufen
Rufen Sie die Seite mit dem User-Agent des Crawlers ab und vergleichen Sie Status und Größe mit der Antwort für einen Browser. Ein 403, eine Challenge-Seite oder ein deutlich kleineres 200 bedeutet, dass die Firewall ihn abweist.
Häufige Fragen
Ist eine Website ohne robots.txt für KI-Crawler offen?
Ja, soweit es die robots.txt betrifft. Ein 404 für die robots.txt bedeutet, dass es keine Regeln gibt, also darf jeder Crawler jede Seite abrufen. Eine Firewall kann Crawler trotzdem sperren.
Zeigt die Erweiterung Sperren durch die Firewall?
Nein. Sie liest die robots.txt aus Ihrem Browser, und die zeigt, worum die Website Crawler bittet. Sperren durch Firewall und Bot-Schutz erkennt nur eine Anfrage, die als Crawler gesendet wird, und genau das macht die vollständige Prüfung auf aiseewhy.com.
Kann ich eine Website prüfen, die nicht mir gehört?
Ja. Die robots.txt ist öffentlich, und die Erweiterung liest nur die Dateien robots.txt und llms.txt, die die Website veröffentlicht, also dieselben Dateien, die jeder Crawler liest.
Den vollständigen Leitfaden lesen
Ob Sie nach einer Änderung Ihre eigene Website prüfen oder sich eine fremde ansehen, bevor Sie sich auf sie verlassen: Die Frage „Sperrt diese Website KI-Crawler?“ hat eine genaue Antwort. Sie hängt davon ab, welchen Crawler Sie meinen, denn KI-Unternehmen betreiben getrennte Crawler für Training, für Suche und für Live-Besuche, und eine Website kann jeden anders behandeln. Dieser Leitfaden zeigt drei Prüfungen, von der schnellsten bis zur gründlichsten.
Wo kann eine Website KI-Crawler sperren?
Es gibt drei Ebenen, und ein Crawler muss alle drei passieren, um eine Seite nutzen zu können.
- robots.txt: eine öffentliche Datei mit Regeln, die sich korrekt verhaltende Crawler lesen, bevor sie etwas abrufen. Sie ist eine Bitte, kein Schloss.
- Server, CDN oder Firewall: Hier wird entschieden, was tatsächlich zurückgeschickt wird. Eine Regel des Bot-Schutzes kann einem Crawler mit 403, 429 oder einer Challenge-Seite antworten, auch wenn die robots.txt ihn zulässt.
- Die Seite selbst: Erscheint der Haupttext erst, nachdem JavaScript gelaufen ist, erhält ein Crawler, der das ursprüngliche HTML liest, eine fast leere Seite, obwohl ihn nichts gesperrt hat.
Die meisten Schnelltests sehen nur die erste Ebene an. Das ist ein guter Anfang, solange Sie die anderen beiden nicht vergessen.
Wie lese ich die robots.txt für einen KI-Crawler?
Öffnen Sie https://example.com/robots.txt im Browser und suchen Sie die Gruppe, die für den Crawler gilt. Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen. Der Crawler nutzt die Gruppe, die sein Token nennt, etwa GPTBot; die Groß- und Kleinschreibung wird dabei nicht beachtet. Nennt ihn keine Gruppe, nutzt er die Gruppe User-agent: *. Gibt es keine von beiden, ist alles erlaubt.
Innerhalb der Gruppe gewinnt die Regel mit dem längsten passenden Pfad, und sind ein Allow und ein Disallow gleich lang, gewinnt Allow. Die folgende Datei sperrt GPTBot also für die gesamte Website, lässt aber jeden anderen Crawler herein:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Achten Sie auch darauf, wie die Datei antwortet. Nach RFC 9309 bedeutet ein 404, dass es keine Regeln gibt, also ist alles erlaubt. Ein Serverfehler (5xx) oder gar keine Antwort bedeutet, dass ein Crawler die gesamte Website als gesperrt behandeln muss. Eine robots.txt-Adresse, die eine HTML-Seite liefert, ist ein häufiger Fehler: Crawler finden darin keine gültigen Regeln.
Wie prüfe ich alle KI-Crawler auf einmal?
Die Datei von Hand zu lesen wird mühsam, sobald Ihnen mehr als ein Crawler wichtig ist. Jedes KI-Unternehmen betreibt mehrere, mit unterschiedlichen Aufgaben:
- Training-Crawler sammeln Inhalte für das Training von Modellen:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagentsowie die TokenGoogle-ExtendedundApplebot-Extended, die nur in der robots.txt vorkommen. - Suchcrawler indexieren Seiten, damit KI-Antworten sie zitieren können:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Nutzer-Crawler rufen eine Seite ab, wenn eine Person den Assistenten darum bittet:
ChatGPT-User,Claude-User,Perplexity-User.
Die kostenlose Erweiterung KI-Crawler-Check für Chrome erledigt das mit einem Klick. Öffnen Sie eine beliebige Seite und klicken Sie auf das Symbol: Die Erweiterung liest die robots.txt dieser Website und zeigt für jeden der 16 Crawler, ob die Seite erlaubt ist und welche Zeile das entscheidet. Außerdem zeigt sie Content-Signal-Präferenzen, ob die Website eine llms.txt hat, und die in der robots.txt genannten Sitemaps. Sie läuft in Ihrem Browser, braucht kein Konto und liest nur die Website, auf der Sie sie anklicken.
Ohne Chrome liefert der kostenlose robots.txt-Checker auf aiseewhy.com dieselbe Antwort für eine eingefügte URL.
Wie prüfe ich, ob die Firewall sie durchlässt?
Die robots.txt zeigt, worum die Website bittet. Um zu sehen, was ein Crawler tatsächlich erhält, rufen Sie die Seite zweimal ab, einmal als Browser und einmal mit dem User-Agent des Crawlers, und vergleichen Sie Statuscode und Größe der Antwort:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Erhält der Browser 200 und der Crawler 403, 429 oder 503 oder eine deutlich kleinere Seite, behandelt eine Firewall oder ein Bot-Schutz den Crawler anders. Für jeden Test von außen gilt eine Einschränkung: Er kommt aus Ihrem Netzwerk, nicht aus dem des KI-Unternehmens. Eine Firewall, die Crawlern anhand ihrer veröffentlichten IP-Adressen vertraut, kann den echten Crawler anders behandeln, deshalb haben Ihre Server-Logs das letzte Wort.
Die vollständige Prüfung auf aiseewhy.com ruft die Seite als jeder der 16 Crawler und parallel mit einem echten Browser ab, nennt die Firewall oder Regel, die einen Crawler sperrt, und vergleicht den Text, den jeder erhalten hat.
Welches Ergebnis sollte ich anstreben?
Das hängt davon ab, was Sie wollen. Wenn Sie in der ChatGPT-Suche, in Claude und in Perplexity zitiert werden möchten, müssen Such- und Nutzer-Crawler in der robots.txt erlaubt sein und vom Server die echte Seite erhalten. Wenn Ihre Inhalte nicht für das Training genutzt werden sollen, sperren Sie nur die Training-Token. Das sind getrennte Entscheidungen: Wer GPTBot sperrt, sperrt nicht OAI-SearchBot, und wer ClaudeBot sperrt, sperrt nicht Claude-SearchBot.
Viele Websites verwechseln das. In unserem Bericht vom November 2026 über die 1.000 beliebtesten Domains sperren 63 % der Websites, die einen Training-Crawler sperren, auch mindestens einen KI-Such- oder Nutzer-Crawler, sodass ihre Seiten in diesen KI-Antworten fehlen.
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- llms.txt Checker und Validator
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Quellen
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Überblick über die OpenAI-Crawler
- Anthropic: Crawlt Anthropic Daten aus dem Web, und wie können Website-Betreiber den Crawler sperren?
- Perplexity: Perplexity-Crawler
- Google: Gängige Crawler, einschließlich Google-Extended
- AISeeWhy: Bericht zum Zugriff von KI-Crawlern, 2026-11