Wat krijgen AI-crawlers echt van je site? Een script van 66 regels

Gepubliceerd

Kort antwoord

Vraag je pagina op als browser en als elke AI-crawler en vergelijk de antwoorden. Een 403, een 429 of een challenge-pagina alleen voor de crawler, of een 200 die veel kleiner is dan de pagina van de browser, betekent dat de firewall de crawler weigert, ook als robots.txt hem toestaat. Een Node-script van 66 regels doet dit voor zeven crawlers en leest robots.txt volgens de regels van RFC 9309.

robots.txt vertelt een crawler wat hij mag ophalen. Het zegt niets over wat je firewall of CDN werkelijk teruggeeft. Dit artikel geeft je een kort script dat beide naast elkaar laat zien, zodat je ziet waar ze van elkaar verschillen.

Op deze pagina
  1. Waarom zegt robots.txt niet wat een crawler krijgt?
  2. Het script
  3. Hoe voer ik het uit?
  4. Hoe ziet de uitvoer eruit?
  5. Hoe lees ik de tabel?
  6. Wat kan het script je niet vertellen?
  7. Wat zien we op echte websites?

Waarom zegt robots.txt niet wat een crawler krijgt?

robots.txt is een verzoek. Een firewall, CDN of botbeveiligingsregel bepaalt wat er echt wordt teruggestuurd. Die kan OAI-SearchBot of PerplexityBot beantwoorden met een 403, een 429 of een pagina „Just a moment...”, terwijl je eigen bezoeken met de browser er helemaal normaal uitzien.

De controle is dezelfde URL op te vragen als browser en als crawler en de antwoorden te vergelijken. Een 403, 429 of 503 alleen voor de crawler, een pagina met de titel Just a moment..., of een 200-antwoord dat veel kleiner is dan dat van de browser wijst allemaal op de firewall.

Het script

Sla het op als ai-crawler-view.mjs. Je hebt Node 18 of nieuwer nodig en geen pakketten. Het leest robots.txt één keer, haalt je pagina op als browser en daarna als zeven AI-crawlers: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot en Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic publiceert geen volledige user-agentstrings, dus de twee Claude-regels gebruiken alleen de crawlernaam. Een firewall die op die naam reageert, doet hetzelfde.

Hoe voer ik het uit?

Voer het uit op een pagina van je eigen site. De optionele vlag --expect controleert of een zin uit je hoofdtekst voorkomt in de ruwe HTML die elke crawler ontvangt. Ontbreekt die zin, dan voegen scripts de tekst pas na het laden toe en zien veel crawlers hem niet.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Gebruik het alleen op sites die van jou zijn of die je mag testen. Het verstuurt negen verzoeken: robots.txt, de browser en één per crawler.

Hoe ziet de uitvoer eruit?

Dit is het resultaat op een opzettelijk vijandige lokale testserver die OAI-SearchBot een challenge geeft, ClaudeBot afremt, PerplexityBot een leeg omhulsel serveert en GPTBot verbiedt in robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Op aiseewhy.com krijgt elke crawler de volledige pagina, met dezelfde status en grootte als de browser.

Hoe lees ik de tabel?

Wat kan het script je niet vertellen?

Wat zien we op echte websites?

AISeeWhy voert dit soort controle uit voor 14 crawlers. Van de 165 bedrijfswebsites in de VS, het VK en Frankrijk die we konden testen, weigerde 38% (63 sites) op de server minstens één AI-crawler, terwijl een browser vanaf hetzelfde adres de pagina wel kreeg. Al die sites weigerden minstens één trainings- of scraperbot, en 10% (16 sites) weigerde ook minstens één AI-zoekcrawler, zoals PerplexityBot (11 sites) of OAI-SearchBot (5).

De sites vormen geen willekeurige steekproef, en nog eens 53 sites konden we niet testen omdat zelfs een gewoon browserverzoek werd geweigerd of onbeantwoord bleef. Zie het als een patroon dat je op je eigen site kunt controleren, niet als een volledige telling.

Gratis tools

Volgende stappen

Crawlers in dit artikel

Veelgestelde vragen

Is het veilig om dit op elke site uit te voeren?

Gebruik het alleen op sites die van jou zijn of die je mag testen. Het verstuurt verzoeken met crawler-user-agents, en sommige botbeveiligingen zien die als vijandig.

Waarom toont GPTBot ok terwijl robots.txt hem verbiedt?

robots.txt is een verzoek, geen slot. De server antwoordt iedereen die het negeert, dus de kolom HTTP zegt ok. De regel ernaast toont wat een crawler die zich netjes gedraagt opvolgt.

Voert het script JavaScript uit?

Nee, bewust niet. Het toont de HTML die een crawler ontvangt die geen pagina's rendert. De vlag --expect vertelt je of je hoofdtekst al in die HTML staat.

Betekent een schoon resultaat dat ChatGPT mijn pagina citeert?

Nee. Toegang is nodig, maar niet genoeg. Om te zien of een assistent je site noemt, stel je hem de vragen van je kopers en noteer je welke sites hij citeert.

Bronnen

Meer artikelen