Vier von zehn Firmenwebsites weisen KI-Crawler ab
In unseren Audits von 165 Firmenwebsites in den USA, Großbritannien und Frankreich wiesen 38 % mindestens einen KI-Crawler auf Serverebene ab, fast immer einen Trainings- oder Scraper-Bot. Etwa jede zehnte Seite verweigerte zudem einem KI-Suchcrawler wie PerplexityBot oder OAI-SearchBot den Zugriff, also genau den Crawlern, die zu einer Zitierung führen können. Prüfen Sie Ihre Seite mit einer Anfrage pro Crawler.
Sie fragen ChatGPT nach Ihrem eigenen Produkt, und es nennt einen Wettbewerber, eine Bewertungsseite und einen Forenbeitrag. Manchmal liegt das am Inhalt. Oft aber beantwortet eine Firewall KI-Crawler mit einem Nein, und niemand in Ihrem Team hat das bemerkt, weil die Website im Browser funktioniert.
Auf dieser Seite
Was haben wir getestet?
Wir rufen eine Seite mehrmals von derselben Adresse aus ab: einmal wie ein normaler Browser und dann jeweils als einer von 14 KI- und Suchcrawlern, darunter GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot und Claude-SearchBot von Anthropic sowie PerplexityBot von Perplexity. Erhält der Browser die Seite, der Crawler aber einen Status 401, 403, 406, 429, 451, 503 oder eine Challenge-Seite, weist die Website diesen Crawler ab.
Die Stichprobe umfasst 218 Firmenwebsites in den USA, Großbritannien und Frankreich, geprüft vom 18. bis 21. November 2026. Bei 165 konnten wir den vollständigen Test durchführen. Die übrigen 53 lehnten schon unsere einfache Browseranfrage ab oder antworteten nicht. Wir haben sie ausgelassen, statt zu raten.
Was haben wir herausgefunden?
- 38 % der testbaren Websites (63 von 165) wiesen mindestens einen KI-Crawler ab.
- Jede dieser Websites verweigerte mindestens einem Trainings- oder Scraper-Crawler den Zugriff.
Bytespiderwurde von 35 % aller Websites abgewiesen,ClaudeBotvon 13 % undGPTBotvon 11 %. - 10 % der Websites (16) wiesen zusätzlich mindestens einen KI-Suchcrawler ab, und 5 % (8) wiesen einen Crawler ab, der eine Seite live öffnet, wenn eine Person den Assistenten danach fragt.
- Die wichtigsten betroffenen Suchcrawler waren
PerplexityBot(11 Websites) undOAI-SearchBot(5 Websites). - Hinter 32 der 66 Websites, die irgendeinen getesteten Crawler abwiesen, stand Cloudflare. Bei weiteren 30 konnten wir nicht erkennen, welche Firewall geantwortet hat.
Warum passiert das, und wann ist es Absicht?
Vieles davon ist vermutlich Absicht. Viele Inhaber wollen nicht, dass ihre Inhalte zum Training von Modellen verwendet werden, und Bot-Schutz-Einstellungen, die Scraper blockieren, sind leicht zu aktivieren. Das ist eine legitime Entscheidung.
Das Problem: KI-Unternehmen betreiben getrennte Crawler für Training und Suche. Wer den Trainingscrawler blockiert, muss den Suchcrawler nicht blockieren, und gerade der Suchcrawler kann dazu führen, dass Ihre Seite in einer Antwort zitiert wird.
Schneiden die größten Websites besser ab?
Nicht wirklich. In unserem robots.txt-Bericht zu den 1.000 beliebtesten Domains blockieren 29,9 % der Websites mit einer robots.txt mindestens einen KI-Trainingscrawler, und 63,2 % davon blockieren zusätzlich mindestens einen KI-Such- oder Nutzercrawler. Nur 11,0 % blockieren das Training und erlauben dabei alle KI-Suchcrawler, also die Konfiguration, die die meisten vermutlich wollten.
Wie prüfe ich meine Website in zehn Minuten?
- Öffnen Sie
yoursite.com/robots.txt. Prüfen Sie für jeden KI-Crawler, der Sie interessiert, ob eine Gruppe ihn nennt und was diese Gruppe festlegt. Eine Gruppe, die einen Crawler nennt, ersetzt die allgemeine*-Gruppe vollständig. - Testen Sie, was der Server tut, nicht was die Datei sagt. Rufen Sie Ihre wichtige Seite als Browser und als Crawler ab. Ein 403, ein 429, eine Seite mit dem Titel
Just a moment...oder eine deutlich kleinere Antwort als im Browser ist ein typisches Zeichen für eine Firewall-Sperre. - Fragen Sie den Assistenten. Stellen Sie ChatGPT oder Perplexity mit aktivierter Suche die Fragen, die Ihre Kunden stellen, und sehen Sie, welche Websites zitiert werden. Wenn der Zugriff funktioniert und Sie trotzdem fehlen, liegt das Problem beim Inhalt, nicht beim Zugriff.
Wie verlässlich sind diese Zahlen?
Verstehen Sie sie als Muster, nicht als Vollerhebung. Die Stichprobe ist nicht zufällig: Es sind Unternehmen, die wir über Werbebibliotheken, Jobbörsen und Kartenverzeichnisse gefunden haben. Wir testen per User-Agent von einer einzigen Adresse, während die echten Crawler von den Adressen kommen, die ihre Betreiber veröffentlichen, sodass manche Firewalls die echten Crawler anders behandeln würden. Und eine Sperre ist nicht immer ein Fehler.
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Wie viele Websites blockieren KI-Crawler?
In unserem Audit von 165 testbaren Firmenwebsites wiesen 38 % mindestens einen KI-Crawler auf Serverebene ab, meist Trainings- und Scraper-Bots. Etwa 10 % verweigerten zusätzlich einem KI-Suchcrawler den Zugriff.
Hält das Blockieren von GPTBot meine Website aus der ChatGPT-Suche heraus?
Nein. Laut OpenAI ist jede robots.txt-Einstellung für seine Crawler unabhängig: GPTBot betrifft das Training, OAI-SearchBot die ChatGPT-Suche. Das Blockieren des einen sperrt den anderen nicht.
Wie kann eine Website einen Crawler ohne robots.txt blockieren?
Eine Regel in Firewall, CDN oder Bot-Schutz kann einen Crawler mit einem 403, einem 429 oder einer Challenge-Seite abweisen. Die robots.txt zeigt das nie an, daher muss man es testen, indem man die Seite als Crawler abruft.
Ist das Abweisen eines Crawlers immer ein Fehler?
Nein. Viele Inhaber wollen Trainingscrawler und Scraper fernhalten. Der Fehler liegt darin, Suchcrawler versehentlich zu blockieren, denn sie sind es, die Ihre Seite zitieren können.
Quellen
- AISeeWhy: AI-Crawler-Zugriffsbericht, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Überblick über die Crawler von OpenAI
- Perplexity: Perplexity-Crawler
- Cloudflare: KI-Crawler verwalten (AI Crawl Control)