Hvad får AI-crawlere egentlig fra dit site? Et script på 66 linjer

Udgivet

Kort svar

Hent din side som browser og som hver AI-crawler, og sammenlign. En 403, en 429 eller en challenge-side kun til crawleren, eller et 200-svar, der er meget mindre end browserens side, betyder, at firewallen afviser den, selv om robots.txt tillader den. Et Node-script på 66 linjer gør det for syv crawlere og læser robots.txt efter reglerne i RFC 9309.

robots.txt fortæller en crawler, hvad den må hente. Den siger intet om, hvad din firewall eller CDN faktisk sender tilbage. Dette indlæg giver dig et kort script, der viser begge dele side om side, så du kan se, hvor de to er uenige.

På denne side
  1. Hvorfor fortæller robots.txt ikke, hvad en crawler får?
  2. Scriptet
  3. Hvordan kører jeg det?
  4. Hvordan ser outputtet ud?
  5. Hvordan læser jeg tabellen?
  6. Hvad kan scriptet ikke fortælle dig?
  7. Hvad ser vi på rigtige websites?

Hvorfor fortæller robots.txt ikke, hvad en crawler får?

robots.txt er en anmodning. En firewall, et CDN eller en regel for botbeskyttelse afgør, hvad der rent faktisk sendes tilbage, og den kan svare OAI-SearchBot eller PerplexityBot med en 403, en 429 eller en "Just a moment..."-side, mens dine egne besøg i browseren ser helt normale ud.

Kontrollen er at hente den samme URL som browser og som crawleren og sammenligne. En 403, 429 eller 503 kun til crawleren, en side med titlen Just a moment... eller et 200-svar, der er meget mindre end browserens, peger alt sammen på firewallen.

Scriptet

Gem det som ai-crawler-view.mjs. Det kræver Node 18 eller nyere og ingen pakker. Det læser robots.txt én gang, henter din side som browser og derefter som syv AI-crawlere: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot og Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic offentliggør ikke fulde user agent-strenge, så de to Claude-linjer bruger kun crawlerens token. En firewall, der matcher på tokenet, reagerer på samme måde.

Hvordan kører jeg det?

Kør det mod en side på dit eget site. Det valgfri flag --expect kontrollerer, at en sætning fra dit hovedindhold findes i den rå HTML, som hver crawler modtager. Mangler den, tilføjer scripts teksten efter indlæsning, og mange crawlere vil ikke se den.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Kør det kun på sites, du ejer eller har lov til at teste. Det sender ni forespørgsler: robots.txt, browseren og én pr. crawler.

Hvordan ser outputtet ud?

Her er resultatet mod en bevidst fjendtlig lokal testserver, der udsætter OAI-SearchBot for en challenge, rate-limiter ClaudeBot, giver PerplexityBot en tom skal og forbyder GPTBot i robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

På aiseewhy.com får alle crawlere hele siden med samme status og størrelse som browseren.

Hvordan læser jeg tabellen?

Hvad kan scriptet ikke fortælle dig?

Hvad ser vi på rigtige websites?

AISeeWhy kører denne type kontrol for 14 crawlere. Blandt 165 virksomhedswebsites i USA, Storbritannien og Frankrig, som vi kunne teste, afviste 38 % (63 sites) mindst én AI-crawler på serveren, mens en browser fra samme adresse fik siden. Hvert eneste af disse sites afviste mindst én trænings- eller scraper-bot, og 10 % (16 sites) afviste også mindst én AI-søgecrawler, f.eks. PerplexityBot (11 sites) eller OAI-SearchBot (5).

Sitene er ikke en tilfældig stikprøve, og 53 flere kunne ikke testes, fordi selv en almindelig browserforespørgsel blev afvist eller ikke besvaret. Se det som et mønster, der er værd at tjekke på dit eget site, ikke som en optælling af alle.

Gratis værktøjer

Næste skridt

Crawlere i denne artikel

Ofte stillede spørgsmål

Er det sikkert at køre dette mod et vilkårligt site?

Kør det kun mod sites, du ejer eller har lov til at teste. Det sender forespørgsler med crawlernes user agents, som nogle bot-forsvar betragter som fjendtlige.

Hvorfor viser GPTBot ok, når robots.txt forbyder den?

robots.txt er en anmodning, ikke en lås. Serveren svarer alle, der ignorerer den, så kolonnen HTTP viser ok. Reglen ved siden af viser, hvad en velopdragen crawler følger.

Kører scriptet JavaScript?

Nej, det er bevidst. Det viser den HTML, som en crawler, der ikke renderer sider, modtager. Flaget --expect fortæller dig, om din hovedtekst allerede findes i den HTML.

Betyder et rent resultat, at ChatGPT vil citere min side?

Nej. Adgang er nødvendig, men ikke tilstrækkelig. For at se, om en assistent nævner dit site, kan du stille den de spørgsmål, dine kunder stiller, og notere, hvilke sites den citerer.

Kilder

Flere artikler