Vad får AI-crawlers egentligen från din sajt? Ett skript på 66 rader
Begär din sida som webbläsare och som varje AI-crawler, och jämför. En 403, en 429 eller en utmaningssida bara för crawlern, eller ett 200-svar som är mycket mindre än webbläsarens sida, betyder att brandväggen nekar den även när robots.txt tillåter den. Ett Node-skript på 66 rader gör detta för sju crawlers och läser robots.txt enligt reglerna i RFC 9309.
robots.txt talar om vad en crawler får hämta. Den säger ingenting om vad din brandvägg eller ditt CDN faktiskt skickar tillbaka. Det här inlägget ger dig ett kort skript som visar båda sidan vid sidan, så att du ser var de skiljer sig åt.
På den här sidan
Varför visar robots.txt inte vad en crawler får?
robots.txt är en begäran. En brandvägg, ett CDN eller en regel för botskydd avgör vad som faktiskt skickas tillbaka, och den kan svara OAI-SearchBot eller PerplexityBot med en 403, en 429 eller en sida med texten "Just a moment..." medan dina egna besök i webbläsaren ser helt normala ut.
Kontrollen går ut på att begära samma URL som webbläsare och som crawler och jämföra. En 403, 429 eller 503 bara för crawlern, en sida med titeln Just a moment... eller ett 200-svar som är mycket mindre än webbläsarens pekar alla på brandväggen.
Skriptet
Spara det som ai-crawler-view.mjs. Det kräver Node 18 eller senare och inga paket. Det läser robots.txt en gång, hämtar din sida som webbläsare och sedan som sju AI-crawlers: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot och Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic publicerar inte fullständiga user agent-strängar, så de två Claude-raderna använder bara crawlerns token. En brandvägg som matchar på token reagerar på samma sätt.
Hur kör jag det?
Kör det mot en sida på din egen sajt. Den valfria flaggan --expect kontrollerar att en mening från ditt huvudinnehåll finns i den råa HTML som varje crawler får. Saknas den lägger skript till texten efter inläsning, och många crawlers ser den inte.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Kör det bara på sajter du äger eller har tillstånd att testa. Det skickar nio förfrågningar: robots.txt, webbläsaren och en per crawler.
Hur ser resultatet ut?
Så här ser resultatet ut mot en medvetet fientlig lokal testserver som utmanar OAI-SearchBot, begränsar hastigheten för ClaudeBot, ger PerplexityBot ett tomt skal och förbjuder GPTBot i robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok På aiseewhy.com får varje crawler hela sidan, med samma status och storlek som webbläsaren.
Hur läser jag tabellen?
- Kolumnen robots.txt är den behörighet du har gett: regeln som gäller för den crawlern enligt RFC 9309, alltså gruppen som nämner crawlern, annars
*, sedan den längsta matchande regeln, därAllowvinner vid lika. - Kolumnerna HTTP och bytes visar vad servern gjorde.
GPTBotvisar 200 eftersom servern svarar alla som ignorerar robots.txt; regeln bredvid är vad en välartad crawler följer. - De farliga raderna är de motsatta:
allow: /bredvidBLOCKEDellerTHIN. Det är en sajt som säger ja men svarar nej.
Vad kan skriptet inte visa?
- Det testar user agents från din egen IP-adress, inte de riktiga crawlerna. Många brandväggar verifierar en crawler via de IP-intervall som leverantören publicerar, så en riktig
OAI-SearchBotkan släppas igenom när din förfrågan nekas, eller tvärtom. Använd det för att hitta regler som reagerar på user agent och kontrollera sedan leverantörernas publicerade IP-listor. - Det kör inte JavaScript, med avsikt: det visar den HTML som en crawler som inte renderar skulle se.
- Ett rent resultat är ingen rekommendation. Att vara läsbar är inte samma sak som att bli citerad.
Vad ser vi på riktiga webbplatser?
AISeeWhy kör den här typen av kontroll för 14 crawlers. Bland 165 företagssajter i USA, Storbritannien och Frankrike som vi kunde testa stängde 38 % (63 sajter) ute minst en AI-crawler på servern medan en webbläsare från samma adress fick sidan. Varje sådan sajt nekade minst en tränings- eller skrapbot, och 10 % (16 sajter) nekade även minst en AI-sökcrawler, som PerplexityBot (11 sajter) eller OAI-SearchBot (5).
Sajterna är inte ett slumpmässigt urval, och ytterligare 53 kunde inte testas eftersom även en vanlig webbläsarförfrågan nekades eller förblev obesvarad. Se det som ett mönster värt att kontrollera på din egen sajt, inte som en folkräkning.
Nästa steg
- robots.txt-testare och kontroll för AI-crawlers
- IP-kontroll för AI-crawlers
- Se ett exempel på en fullständig rapport
- Bevakning av AI-crawlers
- Planer och priser
Crawlers i den här artikeln
Vanliga frågor
Är det säkert att köra det här mot vilken sajt som helst?
Kör det bara mot sajter du äger eller har tillstånd att testa. Det skickar förfrågningar med crawlers user agents, vilket vissa botskydd ser som fientligt.
Varför visar GPTBot ok när robots.txt förbjuder den?
robots.txt är en begäran, inte ett lås. Servern svarar alla som ignorerar den, så kolumnen HTTP visar ok. Regeln bredvid visar vad en välartad crawler följer.
Kör skriptet JavaScript?
Nej, med avsikt. Det visar den HTML som en crawler som inte renderar sidor får. Flaggan --expect visar om din huvudtext redan finns i den HTML:en.
Betyder ett rent resultat att ChatGPT citerar min sida?
Nej. Åtkomst är nödvändig men inte tillräcklig. För att se om en assistent nämner din sajt, ställ den frågorna dina kunder ställer och notera vilka sajter den citerar.
Källor
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Översikt över OpenAI:s crawlers
- Anthropic: Crawlar Anthropic data från webben, och hur kan webbplatsägare blockera crawlern?
- Perplexity: Perplexitys crawlers
- Cloudflare: Hantera AI-crawlers (AI Crawl Control)