Kaj AI-pajki v resnici dobijo z vaše strani? Skripta s 66 vrsticami

Objavljeno

Kratek odgovor

Zahtevajte svojo stran kot brskalnik in kot vsak AI-pajek, nato rezultate primerjajte. Odgovor 403, 429 ali izzivna stran samo za pajka ali odgovor 200, ki je precej manjši od strani za brskalnik, pomeni, da požarni zid pajka zavrača, tudi če robots.txt dovoljuje dostop. Skripta Node s 66 vrsticami to preveri za sedem pajkov in prebere robots.txt po pravilih RFC 9309.

robots.txt pajku pove, kaj sme prenesti. Ne pove pa, kaj mu vaš požarni zid ali CDN dejansko vrne. Ta objava vsebuje kratko skripto, ki oboje pokaže skupaj, da vidite, kje se ne ujemata.

Na tej strani
  1. Zakaj robots.txt ne pove, kaj pajek dobi?
  2. Skripta
  3. Kako jo zaženem?
  4. Kako izgleda izpis?
  5. Kako preberem tabelo?
  6. Česa skripta ne more povedati?
  7. Kaj vidimo na resničnih spletnih mestih?

Zakaj robots.txt ne pove, kaj pajek dobi?

robots.txt je zgolj prošnja. Kaj se dejansko pošlje nazaj, odločajo požarni zid, CDN ali pravilo za zaščito pred boti. Ti lahko OAI-SearchBot ali PerplexityBot odgovorijo s 403, 429 ali stranjo "Just a moment...", medtem ko so obiski v vašem brskalniku videti povsem običajni.

Preverjanje je preprosto: isti naslov zahtevajte kot brskalnik in kot pajek ter rezultata primerjajte. Če samo pajek dobi 403, 429 ali 503, če je naslov strani Just a moment... ali če je odgovor 200 precej manjši od odgovora za brskalnik, je razlog požarni zid.

Skripta

Shranite jo kot ai-crawler-view.mjs. Potrebuje Node 18 ali novejši in nobenih paketov. Enkrat prebere robots.txt, nato prenese vašo stran kot brskalnik in kot sedem AI-pajkov: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot in Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic ne objavlja celotnih nizov uporabniškega agenta, zato vrstici za Claude uporabljata samo oznako pajka. Požarni zid, ki se odziva na oznako, se odzove enako.

Kako jo zaženem?

Zaženite jo na strani svojega spletnega mesta. Neobvezna zastavica --expect preveri, ali je stavek iz vaše glavne vsebine v surovem HTML, ki ga prejme vsak pajek. Če ga ni, besedilo po nalaganju dodajo skripte, mnogi pajki pa ga ne bodo videli.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Zaženite jo samo na spletnih mestih, ki so vaša ali jih smete testirati. Pošlje devet zahtev: robots.txt, brskalnik in po eno za vsakega pajka.

Kako izgleda izpis?

To je rezultat na namenoma sovražnem lokalnem testnem strežniku, ki izziva OAI-SearchBot, omejuje hitrost ClaudeBot, PerplexityBot pa postreže s praznim ogrodjem, GPTBot pa prepoveduje v robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Na aiseewhy.com vsak pajek dobi celotno stran z enakim statusom in velikostjo kot brskalnik.

Kako preberem tabelo?

Česa skripta ne more povedati?

Kaj vidimo na resničnih spletnih mestih?

AISeeWhy tovrstno preverjanje izvaja za 14 pajkov. Med 165 poslovnimi spletnimi mesti v ZDA, Veliki Britaniji in Franciji, ki smo jih lahko testirali, jih je 38 % (63 mest) na strežniku zavrnilo vsaj enega AI-pajka, medtem ko je brskalnik z istega naslova stran dobil. Vsako od teh mest je zavrnilo vsaj enega pajka za učenje ali strganje, 10 % (16 mest) pa tudi vsaj enega AI-pajka za iskanje, na primer PerplexityBot (11 mest) ali OAI-SearchBot (5).

Mesta niso naključni vzorec, 53 dodatnih pa nismo mogli testirati, ker je bila zavrnjena ali neodgovorjena že navadna zahteva brskalnika. Obravnavajte to kot vzorec, ki ga je vredno preveriti na svojem mestu, ne kot popis.

Brezplačna orodja

Naslednji koraki

Pajki v tem članku

Pogosta vprašanja

Ali je varno to zagnati na katerem koli spletnem mestu?

Zaženite jo samo na mestih, ki so vaša ali jih smete testirati. Pošilja zahteve z uporabniškimi agenti pajkov, nekatere obrambe pred boti pa to štejejo za sovražno dejanje.

Zakaj GPTBot kaže ok, čeprav ga robots.txt prepoveduje?

robots.txt je prošnja, ne ključavnica. Strežnik odgovori vsakomur, ki ga ignorira, zato stolpec HTTP kaže ok. Pravilo ob njem kaže, kaj upošteva vljuden pajek.

Ali skripta izvaja JavaScript?

Ne, in to namenoma. Pokaže HTML, ki ga prejme pajek, ki strani ne izrisuje. Zastavica --expect pove, ali je vaše glavno besedilo že v tem HTML.

Ali čist rezultat pomeni, da bo ChatGPT navedel mojo stran?

Ne. Dostop je potreben, a ne zadostuje. Če želite videti, ali vas pomočnik navaja, mu postavite vprašanja, ki jih postavljajo vaši kupci, in si zapišite, katera mesta navede.

Viri

Več člankov