Hvad får AI-crawlere egentlig fra dit site? Et script på 66 linjer
Hent din side som browser og som hver AI-crawler, og sammenlign. En 403, en 429 eller en challenge-side kun til crawleren, eller et 200-svar, der er meget mindre end browserens side, betyder, at firewallen afviser den, selv om robots.txt tillader den. Et Node-script på 66 linjer gør det for syv crawlere og læser robots.txt efter reglerne i RFC 9309.
robots.txt fortæller en crawler, hvad den må hente. Den siger intet om, hvad din firewall eller CDN faktisk sender tilbage. Dette indlæg giver dig et kort script, der viser begge dele side om side, så du kan se, hvor de to er uenige.
På denne side
Hvorfor fortæller robots.txt ikke, hvad en crawler får?
robots.txt er en anmodning. En firewall, et CDN eller en regel for botbeskyttelse afgør, hvad der rent faktisk sendes tilbage, og den kan svare OAI-SearchBot eller PerplexityBot med en 403, en 429 eller en "Just a moment..."-side, mens dine egne besøg i browseren ser helt normale ud.
Kontrollen er at hente den samme URL som browser og som crawleren og sammenligne. En 403, 429 eller 503 kun til crawleren, en side med titlen Just a moment... eller et 200-svar, der er meget mindre end browserens, peger alt sammen på firewallen.
Scriptet
Gem det som ai-crawler-view.mjs. Det kræver Node 18 eller nyere og ingen pakker. Det læser robots.txt én gang, henter din side som browser og derefter som syv AI-crawlere: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot og Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic offentliggør ikke fulde user agent-strenge, så de to Claude-linjer bruger kun crawlerens token. En firewall, der matcher på tokenet, reagerer på samme måde.
Hvordan kører jeg det?
Kør det mod en side på dit eget site. Det valgfri flag --expect kontrollerer, at en sætning fra dit hovedindhold findes i den rå HTML, som hver crawler modtager. Mangler den, tilføjer scripts teksten efter indlæsning, og mange crawlere vil ikke se den.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Kør det kun på sites, du ejer eller har lov til at teste. Det sender ni forespørgsler: robots.txt, browseren og én pr. crawler.
Hvordan ser outputtet ud?
Her er resultatet mod en bevidst fjendtlig lokal testserver, der udsætter OAI-SearchBot for en challenge, rate-limiter ClaudeBot, giver PerplexityBot en tom skal og forbyder GPTBot i robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok På aiseewhy.com får alle crawlere hele siden med samme status og størrelse som browseren.
Hvordan læser jeg tabellen?
- Kolonnen robots.txt er den tilladelse, du har givet: den regel, der gælder for crawleren efter RFC 9309, altså gruppen der nævner crawleren, ellers
*, derefter den længste matchende regel, hvorAllowvinder ved uafgjort. - Kolonnerne HTTP og bytes viser, hvad serveren gjorde.
GPTBotviser 200, fordi serveren svarer alle, der ignorerer robots.txt; reglen ved siden af er det, en velopdragen crawler følger. - De farlige rækker er det modsatte:
allow: /ved siden afBLOCKEDellerTHIN. Det er et site, der siger ja og svarer nej.
Hvad kan scriptet ikke fortælle dig?
- Det tester user agents fra din egen IP-adresse, ikke de rigtige crawlere. Mange firewalls verificerer en crawler ud fra de IP-intervaller, som dens udbyder offentliggør, så en ægte
OAI-SearchBotkan blive lukket ind, når din forespørgsel afvises, eller omvendt. Brug det til at finde regler, der reagerer på user agent, og tjek derefter udbydernes offentliggjorte IP-lister. - Det kører bevidst ikke JavaScript: det viser den HTML, som en crawler, der ikke renderer, ville se.
- Et rent resultat er ikke en anbefaling. At kunne læses er ikke det samme som at blive citeret.
Hvad ser vi på rigtige websites?
AISeeWhy kører denne type kontrol for 14 crawlere. Blandt 165 virksomhedswebsites i USA, Storbritannien og Frankrig, som vi kunne teste, afviste 38 % (63 sites) mindst én AI-crawler på serveren, mens en browser fra samme adresse fik siden. Hvert eneste af disse sites afviste mindst én trænings- eller scraper-bot, og 10 % (16 sites) afviste også mindst én AI-søgecrawler, f.eks. PerplexityBot (11 sites) eller OAI-SearchBot (5).
Sitene er ikke en tilfældig stikprøve, og 53 flere kunne ikke testes, fordi selv en almindelig browserforespørgsel blev afvist eller ikke besvaret. Se det som et mønster, der er værd at tjekke på dit eget site, ikke som en optælling af alle.
Næste skridt
- robots.txt-tester og -tjek til AI-crawlere
- IP-tjek af AI-crawlere
- Se et eksempel på en fuld rapport
- Overvågning af AI-crawlere
- Planer og priser
Crawlere i denne artikel
Ofte stillede spørgsmål
Er det sikkert at køre dette mod et vilkårligt site?
Kør det kun mod sites, du ejer eller har lov til at teste. Det sender forespørgsler med crawlernes user agents, som nogle bot-forsvar betragter som fjendtlige.
Hvorfor viser GPTBot ok, når robots.txt forbyder den?
robots.txt er en anmodning, ikke en lås. Serveren svarer alle, der ignorerer den, så kolonnen HTTP viser ok. Reglen ved siden af viser, hvad en velopdragen crawler følger.
Kører scriptet JavaScript?
Nej, det er bevidst. Det viser den HTML, som en crawler, der ikke renderer sider, modtager. Flaget --expect fortæller dig, om din hovedtekst allerede findes i den HTML.
Betyder et rent resultat, at ChatGPT vil citere min side?
Nej. Adgang er nødvendig, men ikke tilstrækkelig. For at se, om en assistent nævner dit site, kan du stille den de spørgsmål, dine kunder stiller, og notere, hvilke sites den citerer.
Kilder
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Oversigt over OpenAI-crawlere
- Anthropic: Crawler Anthropic data fra nettet, og hvordan kan site-ejere blokere crawleren?
- Perplexity: Perplexitys crawlere
- Cloudflare: Administrer AI-crawlere (AI Crawl Control)