Was erhalten KI-Crawler wirklich von Ihrer Website? Ein Skript mit 66 Zeilen
Rufen Sie Ihre Seite als Browser und als jeden KI-Crawler ab und vergleichen Sie die Ergebnisse. Ein 403, ein 429 oder eine Challenge-Seite nur für den Crawler, oder ein 200 mit deutlich kleinerer Seite als im Browser, bedeutet: Die Firewall weist ihn ab, auch wenn robots.txt ihn erlaubt. Ein Node-Skript mit 66 Zeilen prüft das für sieben Crawler und liest robots.txt nach den Regeln von RFC 9309.
robots.txt legt fest, was ein Crawler abrufen darf. Es sagt nichts darüber, was Ihre Firewall oder Ihr CDN tatsächlich zurückliefert. Dieser Beitrag zeigt ein kurzes Skript, das beides nebeneinander darstellt, damit Sie sehen, wo die beiden voneinander abweichen.
Auf dieser Seite
Warum sagt robots.txt nicht, was ein Crawler erhält?
robots.txt ist eine Bitte. Was tatsächlich zurückgesendet wird, entscheiden Firewall, CDN oder Bot-Schutzregeln. Sie können OAI-SearchBot oder PerplexityBot mit einem 403, einem 429 oder einer Seite „Just a moment..." beantworten, während Ihre eigenen Browser-Besuche völlig normal aussehen.
Die Prüfung: dieselbe URL als Browser und als Crawler abrufen und vergleichen. Ein 403, 429 oder 503 nur für den Crawler, eine Seite mit dem Titel Just a moment... oder eine 200-Antwort, die viel kleiner ist als die des Browsers, deuten auf die Firewall hin.
Das Skript
Speichern Sie es als ai-crawler-view.mjs. Es benötigt Node 18 oder neuer und keine Pakete. Es liest robots.txt einmal, ruft Ihre Seite als Browser ab und dann als sieben KI-Crawler: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot und Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic veröffentlicht keine vollständigen User-Agent-Strings, daher verwenden die beiden Claude-Zeilen nur das Crawler-Token. Eine Firewall, die auf das Token prüft, reagiert genauso.
Wie führe ich es aus?
Führen Sie es für eine Seite Ihrer eigenen Website aus. Die optionale Option --expect prüft, ob ein Satz aus Ihrem Hauptinhalt im rohen HTML enthalten ist, das jeder Crawler erhält. Fehlt er, fügen Skripte den Text erst nach dem Laden hinzu, und viele Crawler sehen ihn nicht.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Führen Sie es nur auf Websites aus, die Ihnen gehören oder die Sie testen dürfen. Es sendet neun Anfragen: robots.txt, den Browser und eine pro Crawler.
Wie sieht die Ausgabe aus?
Dies ist das Ergebnis gegen einen bewusst feindlichen lokalen Testserver, der OAI-SearchBot mit einer Challenge abfängt, ClaudeBot per Rate-Limit bremst, PerplexityBot eine leere Hülle liefert und GPTBot in robots.txt untersagt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Auf aiseewhy.com erhält jeder Crawler die vollständige Seite, mit demselben Status und derselben Größe wie der Browser.
Wie lese ich die Tabelle?
- Die Spalte robots.txt zeigt die erteilte Erlaubnis: die Regel, die nach RFC 9309 für diesen Crawler gilt, also die Gruppe, die den Crawler nennt, sonst
*, dann die längste passende Regel, wobei bei GleichstandAllowgewinnt. - Die Spalten HTTP und bytes zeigen, was der Server getan hat.
GPTBotzeigt ein 200, weil der Server jeden bedient, der robots.txt ignoriert; die Regel daneben ist das, woran sich ein wohlerzogener Crawler hält. - Die gefährlichen Zeilen sind das Gegenteil:
allow: /nebenBLOCKEDoderTHIN. Das ist eine Website, die Ja sagt und Nein antwortet.
Was kann das Skript nicht zeigen?
- Es testet User-Agents von Ihrer eigenen IP-Adresse aus, nicht die echten Crawler. Viele Firewalls prüfen einen Crawler anhand der vom Anbieter veröffentlichten IP-Bereiche. Ein echter
OAI-SearchBotkann also durchgelassen werden, während Ihre Anfrage abgewiesen wird, oder umgekehrt. Nutzen Sie es, um Regeln zu finden, die auf den User-Agent reagieren, und prüfen Sie dann die IP-Listen der Anbieter. - Es führt absichtlich kein JavaScript aus: Es zeigt das HTML, das ein Crawler ohne Rendering sehen würde.
- Ein sauberes Ergebnis ist keine Empfehlung. Lesbar zu sein bedeutet nicht, zitiert zu werden.
Was sehen wir auf echten Websites?
AISeeWhy führt diese Art von Prüfung für 14 Crawler durch. Von 165 Unternehmenswebsites in den USA, Großbritannien und Frankreich, die wir testen konnten, wiesen 38 % (63 Websites) mindestens einen KI-Crawler am Server ab, während ein Browser von derselben Adresse die Seite erhielt. Jede dieser Websites wies mindestens einen Trainings- oder Scraper-Bot ab, und 10 % (16 Websites) wiesen zusätzlich mindestens einen KI-Suchcrawler ab, etwa PerplexityBot (11 Websites) oder OAI-SearchBot (5).
Die Websites sind keine Zufallsstichprobe, und 53 weitere konnten nicht getestet werden, weil schon eine einfache Browser-Anfrage abgewiesen oder nicht beantwortet wurde. Verstehen Sie das als Muster, das Sie auf Ihrer eigenen Website prüfen sollten, nicht als Vollerhebung.
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- IP-Prüfung für KI-Crawler
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Ist es sicher, das Skript gegen beliebige Websites auszuführen?
Führen Sie es nur gegen Websites aus, die Ihnen gehören oder die Sie testen dürfen. Es sendet Anfragen mit Crawler-User-Agents, die manche Bot-Abwehr als feindlich einstuft.
Warum zeigt GPTBot ok, obwohl robots.txt ihn untersagt?
robots.txt ist eine Bitte, kein Schloss. Der Server bedient jeden, der sie ignoriert, daher zeigt die Spalte HTTP ok. Die Regel daneben zeigt, woran sich ein wohlerzogener Crawler hält.
Führt das Skript JavaScript aus?
Nein, absichtlich nicht. Es zeigt das HTML, das ein Crawler erhält, der Seiten nicht rendert. Die Option --expect zeigt, ob Ihr Haupttext bereits in diesem HTML steht.
Heißt ein sauberes Ergebnis, dass ChatGPT meine Seite zitiert?
Nein. Zugriff ist notwendig, aber nicht ausreichend. Um zu sehen, ob ein Assistent Ihre Website nennt, stellen Sie ihm die Fragen Ihrer Kunden und notieren Sie, welche Websites er zitiert.
Quellen
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Überblick über die Crawler von OpenAI
- Anthropic: Durchsucht Anthropic das Web nach Daten, und wie können Website-Betreiber den Crawler blockieren?
- Perplexity: Perplexity-Crawler
- Cloudflare: KI-Crawler verwalten (AI Crawl Control)