Hva får AI-crawlere egentlig fra nettstedet ditt? Et skript på 66 linjer
Be om siden din som nettleser og som hver AI-crawler, og sammenlign. En 403, en 429 eller en utfordringsside bare for crawleren, eller en 200 som er mye mindre enn nettleserens side, betyr at brannmuren avviser den selv om robots.txt tillater den. Et Node-skript på 66 linjer gjør dette for sju crawlere og leser robots.txt etter reglene i RFC 9309.
robots.txt forteller en crawler hva den kan hente. Den sier ingenting om hva brannmuren eller CDN-et ditt faktisk sender tilbake. Dette innlegget gir deg et kort skript som viser begge deler side om side, slik at du ser hvor de to ikke stemmer overens.
På denne siden
Hvorfor forteller ikke robots.txt hva en crawler får?
robots.txt er en forespørsel. Det er en brannmur, et CDN eller en regel for botbeskyttelse som avgjør hva som faktisk sendes tilbake, og den kan svare OAI-SearchBot eller PerplexityBot med en 403, en 429 eller en side med «Just a moment...», mens dine egne besøk i nettleseren ser helt normale ut.
Kontrollen er å be om samme URL som nettleser og som crawleren, og sammenligne. En 403, 429 eller 503 bare for crawleren, en side med tittelen Just a moment..., eller et 200-svar som er mye mindre enn nettleserens, peker alt mot brannmuren.
Skriptet
Lagre det som ai-crawler-view.mjs. Det krever Node 18 eller nyere og ingen pakker. Det leser robots.txt én gang, henter siden din som nettleser og deretter som sju AI-crawlere: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot og Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic oppgir ikke fullstendige user agent-strenger, så de to Claude-linjene bruker bare crawler-tokenet. En brannmur som matcher på tokenet, reagerer likt.
Hvordan kjører jeg det?
Kjør det mot en side på ditt eget nettsted. Det valgfrie flagget --expect kontrollerer at en setning fra hovedinnholdet ditt finnes i rå-HTML-en hver crawler mottar. Hvis den mangler, legger skript til teksten etter innlasting, og mange crawlere ser den ikke.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Kjør det bare på nettsteder du eier eller har lov til å teste. Det sender ni forespørsler: robots.txt, nettleseren og én per crawler.
Hvordan ser resultatet ut?
Dette er resultatet mot en bevisst fiendtlig lokal testserver som utfordrer OAI-SearchBot, begrenser hastigheten for ClaudeBot, gir PerplexityBot et tomt skall og forbyr GPTBot i robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok På aiseewhy.com får alle crawlere hele siden, med samme status og størrelse som nettleseren.
Hvordan leser jeg tabellen?
- Kolonnen robots.txt er tillatelsen du har gitt: regelen som gjelder for den crawleren etter RFC 9309, det vil si gruppen som nevner crawleren, ellers
*, deretter den lengste regelen som passer, derAllowvinner ved likt resultat. - Kolonnene HTTP og bytes viser hva serveren gjorde.
GPTBotviser 200 fordi serveren svarer alle som ignorerer robots.txt. Regelen ved siden av er det en veloppdragen crawler følger. - De farlige radene er det motsatte:
allow: /ved siden avBLOCKEDellerTHIN. Det er et nettsted som sier ja og svarer nei.
Hva kan ikke skriptet fortelle deg?
- Det tester user agents fra din egen IP-adresse, ikke de ekte crawlerne. Mange brannmurer verifiserer en crawler ut fra IP-områdene leverandøren publiserer, så en ekte
OAI-SearchBotkan slippes inn selv om forespørselen din avvises, eller omvendt. Bruk det til å finne regler som reagerer på user agent, og sjekk deretter leverandørenes publiserte IP-lister. - Det kjører ikke JavaScript, med vilje: det viser HTML-en en crawler som ikke rendrer, ville sett.
- Et rent resultat er ikke en anbefaling. Å være lesbar er ikke det samme som å bli sitert.
Hva ser vi på ekte nettsteder?
AISeeWhy kjører en slik kontroll for 14 crawlere. Blant 165 bedriftsnettsteder i USA, Storbritannia og Frankrike som vi kunne teste, avviste 38 % (63 nettsteder) minst én AI-crawler på serveren, mens en nettleser fra samme adresse fikk siden. Alle disse nettstedene avviste minst én trenings- eller scraper-bot, og 10 % (16 nettsteder) avviste i tillegg minst én AI-søkecrawler, for eksempel PerplexityBot (11 nettsteder) eller OAI-SearchBot (5).
Nettstedene er ikke et tilfeldig utvalg, og 53 til kunne ikke testes fordi selv en vanlig nettleserforespørsel ble avvist eller ikke besvart. Se på dette som et mønster det er verdt å sjekke på ditt eget nettsted, ikke som en folketelling.
Neste steg
- robots.txt-tester og -sjekk for AI-crawlere
- IP-sjekk for AI-crawlere
- Se et eksempel på en full rapport
- Overvåking av AI-crawlere
- Planer og priser
Crawlere i denne artikkelen
Vanlige spørsmål
Er det trygt å kjøre dette mot et hvilket som helst nettsted?
Kjør det bare mot nettsteder du eier eller har lov til å teste. Det sender forespørsler med crawlernes user agents, og noen botforsvar behandler det som fiendtlig.
Hvorfor viser GPTBot ok når robots.txt forbyr den?
robots.txt er en forespørsel, ikke en lås. Serveren svarer alle som ignorerer den, så HTTP-kolonnen viser ok. Regelen ved siden av viser hva en veloppdragen crawler følger.
Kjører skriptet JavaScript?
Nei, med vilje. Det viser HTML-en en crawler som ikke rendrer sider, mottar. Flagget --expect forteller deg om hovedteksten din allerede står i den HTML-en.
Betyr et rent resultat at ChatGPT vil sitere siden min?
Nei. Tilgang er nødvendig, men ikke tilstrekkelig. For å se om en assistent nevner nettstedet ditt, still den spørsmålene kundene dine stiller, og noter hvilke nettsteder den siterer.
Kilder
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)