Wat krijgen AI-crawlers echt van je site? Een script van 66 regels
Vraag je pagina op als browser en als elke AI-crawler en vergelijk de antwoorden. Een 403, een 429 of een challenge-pagina alleen voor de crawler, of een 200 die veel kleiner is dan de pagina van de browser, betekent dat de firewall de crawler weigert, ook als robots.txt hem toestaat. Een Node-script van 66 regels doet dit voor zeven crawlers en leest robots.txt volgens de regels van RFC 9309.
robots.txt vertelt een crawler wat hij mag ophalen. Het zegt niets over wat je firewall of CDN werkelijk teruggeeft. Dit artikel geeft je een kort script dat beide naast elkaar laat zien, zodat je ziet waar ze van elkaar verschillen.
Op deze pagina
Waarom zegt robots.txt niet wat een crawler krijgt?
robots.txt is een verzoek. Een firewall, CDN of botbeveiligingsregel bepaalt wat er echt wordt teruggestuurd. Die kan OAI-SearchBot of PerplexityBot beantwoorden met een 403, een 429 of een pagina „Just a moment...”, terwijl je eigen bezoeken met de browser er helemaal normaal uitzien.
De controle is dezelfde URL op te vragen als browser en als crawler en de antwoorden te vergelijken. Een 403, 429 of 503 alleen voor de crawler, een pagina met de titel Just a moment..., of een 200-antwoord dat veel kleiner is dan dat van de browser wijst allemaal op de firewall.
Het script
Sla het op als ai-crawler-view.mjs. Je hebt Node 18 of nieuwer nodig en geen pakketten. Het leest robots.txt één keer, haalt je pagina op als browser en daarna als zeven AI-crawlers: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot en Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic publiceert geen volledige user-agentstrings, dus de twee Claude-regels gebruiken alleen de crawlernaam. Een firewall die op die naam reageert, doet hetzelfde.
Hoe voer ik het uit?
Voer het uit op een pagina van je eigen site. De optionele vlag --expect controleert of een zin uit je hoofdtekst voorkomt in de ruwe HTML die elke crawler ontvangt. Ontbreekt die zin, dan voegen scripts de tekst pas na het laden toe en zien veel crawlers hem niet.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Gebruik het alleen op sites die van jou zijn of die je mag testen. Het verstuurt negen verzoeken: robots.txt, de browser en één per crawler.
Hoe ziet de uitvoer eruit?
Dit is het resultaat op een opzettelijk vijandige lokale testserver die OAI-SearchBot een challenge geeft, ClaudeBot afremt, PerplexityBot een leeg omhulsel serveert en GPTBot verbiedt in robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Op aiseewhy.com krijgt elke crawler de volledige pagina, met dezelfde status en grootte als de browser.
Hoe lees ik de tabel?
- De kolom robots.txt is de toestemming die je hebt gegeven: de regel die voor die crawler geldt volgens RFC 9309. Dat is de groep die de crawler noemt, anders
*, en dan de langste passende regel, waarbijAllowwint bij een gelijkspel. - De kolommen HTTP en bytes laten zien wat de server deed.
GPTBottoont een 200 omdat de server iedereen antwoordt die robots.txt negeert. De regel ernaast is wat een crawler die zich netjes gedraagt opvolgt. - De gevaarlijke rijen zijn het omgekeerde:
allow: /naastBLOCKEDofTHIN. Dat is een site die ja zegt en nee antwoordt.
Wat kan het script je niet vertellen?
- Het test user agents vanaf je eigen IP-adres, niet de echte crawlers. Veel firewalls controleren een crawler aan de hand van de IP-bereiken die de aanbieder publiceert. Een echte
OAI-SearchBotkan dus worden doorgelaten terwijl jouw verzoek wordt geweigerd, of andersom. Gebruik het om regels te vinden die op de user agent reageren en controleer daarna de gepubliceerde IP-lijsten van de aanbieders. - Het voert bewust geen JavaScript uit: het toont de HTML die een crawler zou zien die geen pagina's rendert.
- Een schoon resultaat is geen aanbeveling. Leesbaar zijn is niet hetzelfde als geciteerd worden.
Wat zien we op echte websites?
AISeeWhy voert dit soort controle uit voor 14 crawlers. Van de 165 bedrijfswebsites in de VS, het VK en Frankrijk die we konden testen, weigerde 38% (63 sites) op de server minstens één AI-crawler, terwijl een browser vanaf hetzelfde adres de pagina wel kreeg. Al die sites weigerden minstens één trainings- of scraperbot, en 10% (16 sites) weigerde ook minstens één AI-zoekcrawler, zoals PerplexityBot (11 sites) of OAI-SearchBot (5).
De sites vormen geen willekeurige steekproef, en nog eens 53 sites konden we niet testen omdat zelfs een gewoon browserverzoek werd geweigerd of onbeantwoord bleef. Zie het als een patroon dat je op je eigen site kunt controleren, niet als een volledige telling.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- IP-controle voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Is het veilig om dit op elke site uit te voeren?
Gebruik het alleen op sites die van jou zijn of die je mag testen. Het verstuurt verzoeken met crawler-user-agents, en sommige botbeveiligingen zien die als vijandig.
Waarom toont GPTBot ok terwijl robots.txt hem verbiedt?
robots.txt is een verzoek, geen slot. De server antwoordt iedereen die het negeert, dus de kolom HTTP zegt ok. De regel ernaast toont wat een crawler die zich netjes gedraagt opvolgt.
Voert het script JavaScript uit?
Nee, bewust niet. Het toont de HTML die een crawler ontvangt die geen pagina's rendert. De vlag --expect vertelt je of je hoofdtekst al in die HTML staat.
Betekent een schoon resultaat dat ChatGPT mijn pagina citeert?
Nee. Toegang is nodig, maar niet genoeg. Om te zien of een assistent je site noemt, stel je hem de vragen van je kopers en noteer je welke sites hij citeert.
Bronnen
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overzicht van de crawlers van OpenAI
- Anthropic: Crawlt Anthropic gegevens van het web en hoe kunnen site-eigenaren de crawler blokkeren?
- Perplexity: De crawlers van Perplexity
- Cloudflare: AI-crawlers beheren (AI Crawl Control)