Was erhalten KI-Crawler wirklich von Ihrer Website? Ein Skript mit 66 Zeilen

Veröffentlicht

Kurz gesagt

Rufen Sie Ihre Seite als Browser und als jeden KI-Crawler ab und vergleichen Sie die Ergebnisse. Ein 403, ein 429 oder eine Challenge-Seite nur für den Crawler, oder ein 200 mit deutlich kleinerer Seite als im Browser, bedeutet: Die Firewall weist ihn ab, auch wenn robots.txt ihn erlaubt. Ein Node-Skript mit 66 Zeilen prüft das für sieben Crawler und liest robots.txt nach den Regeln von RFC 9309.

robots.txt legt fest, was ein Crawler abrufen darf. Es sagt nichts darüber, was Ihre Firewall oder Ihr CDN tatsächlich zurückliefert. Dieser Beitrag zeigt ein kurzes Skript, das beides nebeneinander darstellt, damit Sie sehen, wo die beiden voneinander abweichen.

Auf dieser Seite
  1. Warum sagt robots.txt nicht, was ein Crawler erhält?
  2. Das Skript
  3. Wie führe ich es aus?
  4. Wie sieht die Ausgabe aus?
  5. Wie lese ich die Tabelle?
  6. Was kann das Skript nicht zeigen?
  7. Was sehen wir auf echten Websites?

Warum sagt robots.txt nicht, was ein Crawler erhält?

robots.txt ist eine Bitte. Was tatsächlich zurückgesendet wird, entscheiden Firewall, CDN oder Bot-Schutzregeln. Sie können OAI-SearchBot oder PerplexityBot mit einem 403, einem 429 oder einer Seite „Just a moment..." beantworten, während Ihre eigenen Browser-Besuche völlig normal aussehen.

Die Prüfung: dieselbe URL als Browser und als Crawler abrufen und vergleichen. Ein 403, 429 oder 503 nur für den Crawler, eine Seite mit dem Titel Just a moment... oder eine 200-Antwort, die viel kleiner ist als die des Browsers, deuten auf die Firewall hin.

Das Skript

Speichern Sie es als ai-crawler-view.mjs. Es benötigt Node 18 oder neuer und keine Pakete. Es liest robots.txt einmal, ruft Ihre Seite als Browser ab und dann als sieben KI-Crawler: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot und Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic veröffentlicht keine vollständigen User-Agent-Strings, daher verwenden die beiden Claude-Zeilen nur das Crawler-Token. Eine Firewall, die auf das Token prüft, reagiert genauso.

Wie führe ich es aus?

Führen Sie es für eine Seite Ihrer eigenen Website aus. Die optionale Option --expect prüft, ob ein Satz aus Ihrem Hauptinhalt im rohen HTML enthalten ist, das jeder Crawler erhält. Fehlt er, fügen Skripte den Text erst nach dem Laden hinzu, und viele Crawler sehen ihn nicht.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Führen Sie es nur auf Websites aus, die Ihnen gehören oder die Sie testen dürfen. Es sendet neun Anfragen: robots.txt, den Browser und eine pro Crawler.

Wie sieht die Ausgabe aus?

Dies ist das Ergebnis gegen einen bewusst feindlichen lokalen Testserver, der OAI-SearchBot mit einer Challenge abfängt, ClaudeBot per Rate-Limit bremst, PerplexityBot eine leere Hülle liefert und GPTBot in robots.txt untersagt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Auf aiseewhy.com erhält jeder Crawler die vollständige Seite, mit demselben Status und derselben Größe wie der Browser.

Wie lese ich die Tabelle?

Was kann das Skript nicht zeigen?

Was sehen wir auf echten Websites?

AISeeWhy führt diese Art von Prüfung für 14 Crawler durch. Von 165 Unternehmenswebsites in den USA, Großbritannien und Frankreich, die wir testen konnten, wiesen 38 % (63 Websites) mindestens einen KI-Crawler am Server ab, während ein Browser von derselben Adresse die Seite erhielt. Jede dieser Websites wies mindestens einen Trainings- oder Scraper-Bot ab, und 10 % (16 Websites) wiesen zusätzlich mindestens einen KI-Suchcrawler ab, etwa PerplexityBot (11 Websites) oder OAI-SearchBot (5).

Die Websites sind keine Zufallsstichprobe, und 53 weitere konnten nicht getestet werden, weil schon eine einfache Browser-Anfrage abgewiesen oder nicht beantwortet wurde. Verstehen Sie das als Muster, das Sie auf Ihrer eigenen Website prüfen sollten, nicht als Vollerhebung.

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Ist es sicher, das Skript gegen beliebige Websites auszuführen?

Führen Sie es nur gegen Websites aus, die Ihnen gehören oder die Sie testen dürfen. Es sendet Anfragen mit Crawler-User-Agents, die manche Bot-Abwehr als feindlich einstuft.

Warum zeigt GPTBot ok, obwohl robots.txt ihn untersagt?

robots.txt ist eine Bitte, kein Schloss. Der Server bedient jeden, der sie ignoriert, daher zeigt die Spalte HTTP ok. Die Regel daneben zeigt, woran sich ein wohlerzogener Crawler hält.

Führt das Skript JavaScript aus?

Nein, absichtlich nicht. Es zeigt das HTML, das ein Crawler erhält, der Seiten nicht rendert. Die Option --expect zeigt, ob Ihr Haupttext bereits in diesem HTML steht.

Heißt ein sauberes Ergebnis, dass ChatGPT meine Seite zitiert?

Nein. Zugriff ist notwendig, aber nicht ausreichend. Um zu sehen, ob ein Assistent Ihre Website nennt, stellen Sie ihm die Fragen Ihrer Kunden und notieren Sie, welche Websites er zitiert.

Quellen

Weitere Artikel