Ko AI rāpuļprogrammas patiesībā saņem no jūsu vietnes? 66 rindu skripts
Pieprasiet savu lapu kā pārlūks un kā katra AI rāpuļprogramma, tad salīdziniet. Ja tikai rāpuļprogramma saņem 403, 429 vai pārbaudes lapu, vai ja 200 atbilde ir ievērojami mazāka nekā pārlūka lapa, ugunsmūris to noraida pat tad, ja robots.txt atļauj. 66 rindu Node skripts to izdara septiņām rāpuļprogrammām un nolasa robots.txt pēc RFC 9309 noteikumiem.
robots.txt norāda rāpuļprogrammai, ko tā drīkst iegūt. Tas neko neizsaka par to, ko jūsu ugunsmūris vai CDN faktiski atsūta. Šis raksts piedāvā īsu skriptu, kas parāda abus rezultātus blakus, lai redzētu, kur tie nesakrīt.
Šajā lapā
Kāpēc robots.txt neparāda, ko rāpuļprogramma saņem?
robots.txt ir lūgums. Ugunsmūris, CDN vai botu aizsardzības noteikums izlemj, kas tiek atsūtīts patiesībā, un tas var atbildēt OAI-SearchBot vai PerplexityBot ar 403, 429 vai lapu „Just a moment...”, kamēr jūsu pašu apmeklējumi pārlūkā izskatās pilnīgi normāli.
Pārbaude ir tāda: pieprasiet vienu un to pašu URL kā pārlūks un kā rāpuļprogramma un salīdziniet. 403, 429 vai 503 tikai rāpuļprogrammai, lapa ar nosaukumu Just a moment... vai 200 atbilde, kas ir ievērojami mazāka nekā pārlūka atbilde, liecina par ugunsmūri.
Skripts
Saglabājiet to kā ai-crawler-view.mjs. Tam vajadzīgs Node 18 vai jaunāks, un nekādas pakotnes nav nepieciešamas. Tas vienreiz nolasa robots.txt, pēc tam atver jūsu lapu kā pārlūks un kā septiņas AI rāpuļprogrammas: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot un Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic nepublicē pilnas user agent virknes, tāpēc abās Claude rindās izmantots tikai rāpuļprogrammas tokens. Ugunsmūris, kas pārbauda tokenu, reaģē tāpat.
Kā to palaist?
Palaidiet to pret savas vietnes lapu. Neobligātais karogs --expect pārbauda, vai teikums no jūsu galvenā satura ir katras rāpuļprogrammas saņemtajā neapstrādātajā HTML. Ja tā nav, teksts tiek pievienots ar skriptiem pēc ielādes, un daudzas rāpuļprogrammas to neredzēs.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Palaidiet to tikai vietnēs, kas pieder jums vai kuras drīkstat testēt. Tas nosūta deviņus pieprasījumus: robots.txt, pārlūku un pa vienam katrai rāpuļprogrammai.
Kā izskatās rezultāts?
Šis ir rezultāts, palaižot skriptu pret speciāli naidīgu lokālu testa serveri, kas izaicina OAI-SearchBot, ierobežo ClaudeBot pieprasījumu skaitu, PerplexityBot atdod tukšu čaulu un robots.txt aizliedz GPTBot:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok Vietnē aiseewhy.com katra rāpuļprogramma saņem pilnu lapu ar tādu pašu statusu un izmēru kā pārlūks.
Kā lasīt tabulu?
- Kolonna robots.txt ir jūsu dotā atļauja: noteikums, kas attiecas uz šo rāpuļprogrammu pēc RFC 9309, proti, grupa, kurā tā nosaukta, citādi
*, tad garākais atbilstošais noteikums, un neizšķirta situācijā uzvarAllow. - Kolonnas HTTP un bytes rāda, ko serveris izdarīja.
GPTBotrāda 200, jo serveris atbild ikvienam, kas ignorē robots.txt; blakus esošais noteikums ir tas, ko ievēro korekta rāpuļprogramma. - Bīstamākās ir pretējās rindas:
allow: /blakusBLOCKEDvaiTHIN. Tā ir vietne, kas saka jā, bet atbild nē.
Ko skripts nevar pateikt?
- Tas testē user agent no jūsu pašu IP adreses, nevis īstās rāpuļprogrammas. Daudzi ugunsmūri pārbauda rāpuļprogrammu pēc IP diapazoniem, ko publicē tās piegādātājs, tāpēc īsts
OAI-SearchBotvar tikt laists cauri, kad jūsu pieprasījums tiek noraidīts, vai otrādi. Izmantojiet skriptu, lai atrastu noteikumus, kas reaģē uz user agent, un tad pārbaudiet piegādātāju publicētos IP sarakstus. - Tas apzināti nepalaiž JavaScript: tas parāda HTML, ko redzētu rāpuļprogramma, kas lapas nerenderē.
- Tīrs rezultāts nav ieteikums. Būt nolasāmam nenozīmē tikt citētam.
Ko redzam īstās vietnēs?
AISeeWhy veic šādu pārbaudi 14 rāpuļprogrammām. No 165 uzņēmumu vietnēm ASV, Lielbritānijā un Francijā, ko varējām pārbaudīt, 38% (63 vietnes) serverī atteica vismaz vienai AI rāpuļprogrammai, kamēr pārlūks no tās pašas adreses saņēma lapu. Katra no šīm vietnēm atteica vismaz vienam apmācības vai skrāpēšanas botam, un 10% (16 vietnes) atteica arī vismaz vienai AI meklēšanas rāpuļprogrammai, piemēram, PerplexityBot (11 vietnes) vai OAI-SearchBot (5).
Vietnes nav nejauša izlase, un vēl 53 nevarēja pārbaudīt, jo pat parasts pārlūka pieprasījums tika noraidīts vai palika bez atbildes. Uztveriet to kā likumsakarību, ko vērts pārbaudīt savā vietnē, nevis kā skaitīšanu.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Vai šo drīkst palaist pret jebkuru vietni?
Palaidiet to tikai vietnēs, kas pieder jums vai kuras drīkstat testēt. Tas sūta pieprasījumus ar rāpuļprogrammu user agent, ko dažas botu aizsardzības sistēmas uzskata par naidīgiem.
Kāpēc GPTBot rāda ok, ja robots.txt to aizliedz?
robots.txt ir lūgums, nevis slēdzene. Serveris atbild ikvienam, kas to ignorē, tāpēc kolonna HTTP rāda ok. Blakus esošais noteikums parāda, ko ievēro korekta rāpuļprogramma.
Vai skripts palaiž JavaScript?
Nē, apzināti. Tas parāda HTML, ko saņem rāpuļprogramma, kas lapas nerenderē. Karogs --expect norāda, vai jūsu galvenais teksts jau ir šajā HTML.
Vai tīrs rezultāts nozīmē, ka ChatGPT citēs manu lapu?
Nē. Piekļuve ir nepieciešama, bet nepietiekama. Lai redzētu, vai asistents min jūsu vietni, uzdodiet tam jautājumus, ko uzdod jūsu pircēji, un pierakstiet, kuras vietnes tas citē.
Avoti
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)