Hva får AI-crawlere egentlig fra nettstedet ditt? Et skript på 66 linjer

Publisert

Kort svar

Be om siden din som nettleser og som hver AI-crawler, og sammenlign. En 403, en 429 eller en utfordringsside bare for crawleren, eller en 200 som er mye mindre enn nettleserens side, betyr at brannmuren avviser den selv om robots.txt tillater den. Et Node-skript på 66 linjer gjør dette for sju crawlere og leser robots.txt etter reglene i RFC 9309.

robots.txt forteller en crawler hva den kan hente. Den sier ingenting om hva brannmuren eller CDN-et ditt faktisk sender tilbake. Dette innlegget gir deg et kort skript som viser begge deler side om side, slik at du ser hvor de to ikke stemmer overens.

På denne siden
  1. Hvorfor forteller ikke robots.txt hva en crawler får?
  2. Skriptet
  3. Hvordan kjører jeg det?
  4. Hvordan ser resultatet ut?
  5. Hvordan leser jeg tabellen?
  6. Hva kan ikke skriptet fortelle deg?
  7. Hva ser vi på ekte nettsteder?

Hvorfor forteller ikke robots.txt hva en crawler får?

robots.txt er en forespørsel. Det er en brannmur, et CDN eller en regel for botbeskyttelse som avgjør hva som faktisk sendes tilbake, og den kan svare OAI-SearchBot eller PerplexityBot med en 403, en 429 eller en side med «Just a moment...», mens dine egne besøk i nettleseren ser helt normale ut.

Kontrollen er å be om samme URL som nettleser og som crawleren, og sammenligne. En 403, 429 eller 503 bare for crawleren, en side med tittelen Just a moment..., eller et 200-svar som er mye mindre enn nettleserens, peker alt mot brannmuren.

Skriptet

Lagre det som ai-crawler-view.mjs. Det krever Node 18 eller nyere og ingen pakker. Det leser robots.txt én gang, henter siden din som nettleser og deretter som sju AI-crawlere: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot og Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic oppgir ikke fullstendige user agent-strenger, så de to Claude-linjene bruker bare crawler-tokenet. En brannmur som matcher på tokenet, reagerer likt.

Hvordan kjører jeg det?

Kjør det mot en side på ditt eget nettsted. Det valgfrie flagget --expect kontrollerer at en setning fra hovedinnholdet ditt finnes i rå-HTML-en hver crawler mottar. Hvis den mangler, legger skript til teksten etter innlasting, og mange crawlere ser den ikke.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Kjør det bare på nettsteder du eier eller har lov til å teste. Det sender ni forespørsler: robots.txt, nettleseren og én per crawler.

Hvordan ser resultatet ut?

Dette er resultatet mot en bevisst fiendtlig lokal testserver som utfordrer OAI-SearchBot, begrenser hastigheten for ClaudeBot, gir PerplexityBot et tomt skall og forbyr GPTBot i robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

På aiseewhy.com får alle crawlere hele siden, med samme status og størrelse som nettleseren.

Hvordan leser jeg tabellen?

Hva kan ikke skriptet fortelle deg?

Hva ser vi på ekte nettsteder?

AISeeWhy kjører en slik kontroll for 14 crawlere. Blant 165 bedriftsnettsteder i USA, Storbritannia og Frankrike som vi kunne teste, avviste 38 % (63 nettsteder) minst én AI-crawler på serveren, mens en nettleser fra samme adresse fikk siden. Alle disse nettstedene avviste minst én trenings- eller scraper-bot, og 10 % (16 nettsteder) avviste i tillegg minst én AI-søkecrawler, for eksempel PerplexityBot (11 nettsteder) eller OAI-SearchBot (5).

Nettstedene er ikke et tilfeldig utvalg, og 53 til kunne ikke testes fordi selv en vanlig nettleserforespørsel ble avvist eller ikke besvart. Se på dette som et mønster det er verdt å sjekke på ditt eget nettsted, ikke som en folketelling.

Gratis verktøy

Neste steg

Crawlere i denne artikkelen

Vanlige spørsmål

Er det trygt å kjøre dette mot et hvilket som helst nettsted?

Kjør det bare mot nettsteder du eier eller har lov til å teste. Det sender forespørsler med crawlernes user agents, og noen botforsvar behandler det som fiendtlig.

Hvorfor viser GPTBot ok når robots.txt forbyr den?

robots.txt er en forespørsel, ikke en lås. Serveren svarer alle som ignorerer den, så HTTP-kolonnen viser ok. Regelen ved siden av viser hva en veloppdragen crawler følger.

Kjører skriptet JavaScript?

Nei, med vilje. Det viser HTML-en en crawler som ikke rendrer sider, mottar. Flagget --expect forteller deg om hovedteksten din allerede står i den HTML-en.

Betyr et rent resultat at ChatGPT vil sitere siden min?

Nei. Tilgang er nødvendig, men ikke tilstrekkelig. For å se om en assistent nevner nettstedet ditt, still den spørsmålene kundene dine stiller, og noter hvilke nettsteder den siterer.

Kilder

Flere artikler