Ano nga ba ang nakukuha ng mga AI crawler sa site mo? Isang 66-line na script
I-request ang page mo bilang browser at bilang bawat AI crawler, saka ihambing. Kung 403, 429 o challenge page ang tugon para sa crawler lang, o kung 200 nga pero mas maliit nang husto kaysa sa page ng browser, ibig sabihin ay tinatanggihan ito ng firewall kahit pinapayagan ng robots.txt. Ginagawa ito ng 66-line na Node script para sa pitong crawler at binabasa nito ang robots.txt ayon sa mga patakaran ng RFC 9309.
Sinasabi ng robots.txt sa crawler kung ano ang puwede nitong kunin. Wala itong sinasabi tungkol sa aktuwal na ibinabalik ng firewall o CDN mo. Magbibigay ang post na ito ng maikling script na nagpapakita ng dalawa nang magkatabi, para makita mo kung saan sila hindi nagkakasundo.
Sa pahinang ito
Bakit hindi sinasabi ng robots.txt kung ano ang nakukuha ng crawler?
Ang robots.txt ay isang kahilingan lamang. Ang firewall, CDN o bot-protection rule ang nagpapasya sa aktuwal na ibabalik, at puwede nitong sagutin ang OAI-SearchBot o PerplexityBot ng 403, 429 o pahinang "Just a moment..." habang mukhang normal na normal ang sarili mong pagbisita gamit ang browser.
Ang pagsusuri ay i-request ang parehong URL bilang browser at bilang crawler, at ihambing ang dalawa. Ang 403, 429 o 503 para sa crawler lang, ang pahinang may pamagat na Just a moment..., o ang 200 na tugon na mas maliit nang husto kaysa sa tugon sa browser ay pawang tumuturo sa firewall.
Ang script
I-save ito bilang ai-crawler-view.mjs. Kailangan nito ng Node 18 o mas bago at walang package. Binabasa nito ang robots.txt nang isang beses, kinukuha ang page mo bilang browser, at saka bilang pitong AI crawler: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot at Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Hindi inilalathala ng Anthropic ang buong user agent string, kaya ang token lang ng crawler ang ginagamit sa dalawang linya ng Claude. Pareho ang reaksyon ng firewall na tumutugma sa token.
Paano ko ito patatakbuhin?
Patakbuhin ito sa isang page ng sarili mong site. Ang opsyonal na flag na --expect ay sinusuri kung may pangungusap mula sa pangunahing nilalaman mo sa raw HTML na natatanggap ng bawat crawler. Kung wala ito, ang mga script ang nagdaragdag ng teksto pagkatapos mag-load, at maraming crawler ang hindi ito makikita.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Patakbuhin lang ito sa mga site na pag-aari mo o may pahintulot kang subukan. Siyam na request ang ipinapadala nito: robots.txt, ang browser, at isa para sa bawat crawler.
Ano ang hitsura ng output?
Ito ang resulta laban sa sadyang masamang local test server na nagpapa-challenge sa OAI-SearchBot, nagli-limit ng rate sa ClaudeBot, naghahain sa PerplexityBot ng walang laman na shell, at nagbabawal sa GPTBot sa robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Sa aiseewhy.com, nakukuha ng bawat crawler ang buong page, na kapareho ng status at laki sa browser.
Paano ko babasahin ang talahanayan?
- Ang column ng robots.txt ay ang pahintulot na ibinigay mo: ang rule na nalalapat sa crawler na iyon ayon sa RFC 9309, ibig sabihin ay ang grupong pinangalanan ang crawler, kung wala ay
*, tapos ang pinakamahabang tumutugmang rule, at nananaig angAllowkapag magkapantay. - Ang mga column ng HTTP at bytes ay ang ginawa ng server. Nagpapakita ng 200 ang
GPTBotdahil sinasagot ng server ang sinumang hindi sumusunod sa robots.txt; ang rule sa tabi nito ang sinusunod ng isang mabuting-asal na crawler. - Ang mga mapanganib na row ay ang kabaligtaran:
allow: /sa tabi ngBLOCKEDoTHIN. Ito ay site na oo ang sinasabi pero hindi ang sagot.
Ano ang hindi masasabi ng script?
- Sinusubok nito ang mga user agent mula sa sarili mong IP address, hindi ang mga totoong crawler. Maraming firewall ang nagbe-verify ng crawler batay sa mga IP range na inilalathala ng vendor nito, kaya ang totoong
OAI-SearchBotay maaaring papasukin kahit tinanggihan ang request mo, o kabaligtaran. Gamitin ito para hanapin ang mga rule na tumutugon sa user agent, saka suriin ang mga nailathalang IP list ng mga vendor. - Hindi ito nagpapatakbo ng JavaScript, sadya: ipinapakita nito ang HTML na makikita ng crawler na hindi nagre-render.
- Ang malinis na resulta ay hindi rekomendasyon. Ang pagiging nababasa ay hindi pareho ng pagiging nasisipi.
Ano ang nakikita namin sa mga tunay na website?
Nagsasagawa ang AISeeWhy ng ganitong pagsusuri para sa 14 na crawler. Sa 165 business website sa US, UK at France na nasubok namin, 38% (63 site) ang tumanggi sa kahit isang AI crawler sa antas ng server habang nakuha ng browser mula sa parehong address ang page. Ang bawat isa sa mga site na iyon ay tumanggi sa kahit isang training o scraper bot, at 10% (16 na site) ang tumanggi rin sa kahit isang AI search crawler, gaya ng PerplexityBot (11 site) o OAI-SearchBot (5).
Hindi random na sample ang mga site, at 53 pa ang hindi namin nasubok dahil kahit ang payak na request ng browser ay tinanggihan o hindi sinagot. Ituring itong padron na sulit suriin sa sarili mong site, hindi isang census.
Mga susunod na hakbang
- robots.txt tester at checker para sa mga AI crawler
- Pagsusuri ng IP ng AI crawler
- Tingnan ang halimbawa ng buong ulat
- Pag-monitor ng AI crawler
- Mga plan at presyo
Mga crawler sa artikulong ito
Mga madalas itanong
Ligtas bang patakbuhin ito laban sa kahit anong site?
Patakbuhin lang ito sa mga site na pag-aari mo o may pahintulot kang subukan. Nagpapadala ito ng mga request na may user agent ng crawler, na itinuturing ng ilang bot defense bilang pagalit.
Bakit ok ang ipinapakita ng GPTBot kahit bawal ito sa robots.txt?
Ang robots.txt ay kahilingan, hindi kandado. Sinasagot ng server ang sinumang hindi sumusunod dito, kaya ok ang nakasaad sa column ng HTTP. Ang rule sa tabi nito ang sinusunod ng isang mabuting-asal na crawler.
Nagpapatakbo ba ng JavaScript ang script?
Hindi, sadya. Ipinapakita nito ang HTML na natatanggap ng crawler na hindi nagre-render ng mga page. Sinasabi sa iyo ng flag na --expect kung nasa HTML na iyon ang pangunahing teksto mo.
Ibig bang sabihin ng malinis na resulta ay isisipi ng ChatGPT ang page ko?
Hindi. Kailangan ang access pero hindi ito sapat. Para malaman kung binabanggit ng assistant ang site mo, itanong dito ang mga tanong ng mga mamimili mo at itala kung aling mga site ang sinisipi nito.
Mga pinagmulan
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)