Vad får AI-crawlers egentligen från din sajt? Ett skript på 66 rader

Publicerad

Kort svar

Begär din sida som webbläsare och som varje AI-crawler, och jämför. En 403, en 429 eller en utmaningssida bara för crawlern, eller ett 200-svar som är mycket mindre än webbläsarens sida, betyder att brandväggen nekar den även när robots.txt tillåter den. Ett Node-skript på 66 rader gör detta för sju crawlers och läser robots.txt enligt reglerna i RFC 9309.

robots.txt talar om vad en crawler får hämta. Den säger ingenting om vad din brandvägg eller ditt CDN faktiskt skickar tillbaka. Det här inlägget ger dig ett kort skript som visar båda sidan vid sidan, så att du ser var de skiljer sig åt.

På den här sidan
  1. Varför visar robots.txt inte vad en crawler får?
  2. Skriptet
  3. Hur kör jag det?
  4. Hur ser resultatet ut?
  5. Hur läser jag tabellen?
  6. Vad kan skriptet inte visa?
  7. Vad ser vi på riktiga webbplatser?

Varför visar robots.txt inte vad en crawler får?

robots.txt är en begäran. En brandvägg, ett CDN eller en regel för botskydd avgör vad som faktiskt skickas tillbaka, och den kan svara OAI-SearchBot eller PerplexityBot med en 403, en 429 eller en sida med texten "Just a moment..." medan dina egna besök i webbläsaren ser helt normala ut.

Kontrollen går ut på att begära samma URL som webbläsare och som crawler och jämföra. En 403, 429 eller 503 bara för crawlern, en sida med titeln Just a moment... eller ett 200-svar som är mycket mindre än webbläsarens pekar alla på brandväggen.

Skriptet

Spara det som ai-crawler-view.mjs. Det kräver Node 18 eller senare och inga paket. Det läser robots.txt en gång, hämtar din sida som webbläsare och sedan som sju AI-crawlers: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot och Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic publicerar inte fullständiga user agent-strängar, så de två Claude-raderna använder bara crawlerns token. En brandvägg som matchar på token reagerar på samma sätt.

Hur kör jag det?

Kör det mot en sida på din egen sajt. Den valfria flaggan --expect kontrollerar att en mening från ditt huvudinnehåll finns i den råa HTML som varje crawler får. Saknas den lägger skript till texten efter inläsning, och många crawlers ser den inte.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Kör det bara på sajter du äger eller har tillstånd att testa. Det skickar nio förfrågningar: robots.txt, webbläsaren och en per crawler.

Hur ser resultatet ut?

Så här ser resultatet ut mot en medvetet fientlig lokal testserver som utmanar OAI-SearchBot, begränsar hastigheten för ClaudeBot, ger PerplexityBot ett tomt skal och förbjuder GPTBot i robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

På aiseewhy.com får varje crawler hela sidan, med samma status och storlek som webbläsaren.

Hur läser jag tabellen?

Vad kan skriptet inte visa?

Vad ser vi på riktiga webbplatser?

AISeeWhy kör den här typen av kontroll för 14 crawlers. Bland 165 företagssajter i USA, Storbritannien och Frankrike som vi kunde testa stängde 38 % (63 sajter) ute minst en AI-crawler på servern medan en webbläsare från samma adress fick sidan. Varje sådan sajt nekade minst en tränings- eller skrapbot, och 10 % (16 sajter) nekade även minst en AI-sökcrawler, som PerplexityBot (11 sajter) eller OAI-SearchBot (5).

Sajterna är inte ett slumpmässigt urval, och ytterligare 53 kunde inte testas eftersom även en vanlig webbläsarförfrågan nekades eller förblev obesvarad. Se det som ett mönster värt att kontrollera på din egen sajt, inte som en folkräkning.

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Är det säkert att köra det här mot vilken sajt som helst?

Kör det bara mot sajter du äger eller har tillstånd att testa. Det skickar förfrågningar med crawlers user agents, vilket vissa botskydd ser som fientligt.

Varför visar GPTBot ok när robots.txt förbjuder den?

robots.txt är en begäran, inte ett lås. Servern svarar alla som ignorerar den, så kolumnen HTTP visar ok. Regeln bredvid visar vad en välartad crawler följer.

Kör skriptet JavaScript?

Nej, med avsikt. Det visar den HTML som en crawler som inte renderar sidor får. Flaggan --expect visar om din huvudtext redan finns i den HTML:en.

Betyder ett rent resultat att ChatGPT citerar min sida?

Nej. Åtkomst är nödvändig men inte tillräcklig. För att se om en assistent nämner din sajt, ställ den frågorna dina kunder ställer och notera vilka sajter den citerar.

Källor

Fler artiklar