Što AI crawleri zapravo dobivaju s vaše stranice? Skripta od 66 redaka

Objavljeno

Kratki odgovor

Zatražite stranicu kao preglednik i kao svaki AI crawler pa usporedite odgovore. Ako samo crawler dobije 403, 429 ili challenge stranicu, ili 200 koji je znatno manji od stranice za preglednik, vatrozid ga odbija iako ga robots.txt dopušta. Node skripta od 66 redaka to provjerava za sedam crawlera i čita robots.txt prema pravilima RFC 9309.

robots.txt crawleru govori što smije dohvatiti. Ne govori što vaš vatrozid ili CDN stvarno vraća. Ovaj članak daje kratku skriptu koja oboje prikazuje jedno uz drugo, pa vidite gdje se ne slažu.

Na ovoj stranici
  1. Zašto robots.txt ne pokazuje što crawler dobiva?
  2. Skripta
  3. Kako je pokrenuti?
  4. Kako izgleda ispis?
  5. Kako čitati tablicu?
  6. Što skripta ne može reći?
  7. Što vidimo na stvarnim web-mjestima?

Zašto robots.txt ne pokazuje što crawler dobiva?

robots.txt je zahtjev. Vatrozid, CDN ili pravilo zaštite od botova odlučuje što se stvarno vraća, pa OAI-SearchBot ili PerplexityBot može dobiti 403, 429 ili stranicu "Just a moment...", dok vaši posjeti iz preglednika izgledaju sasvim normalno.

Provjera je jednostavna: zatražite isti URL kao preglednik i kao crawler te usporedite odgovore. Na vatrozid upućuju 403, 429 ili 503 samo za crawler, stranica s naslovom Just a moment... ili odgovor 200 koji je puno manji od onog za preglednik.

Skripta

Spremite je kao ai-crawler-view.mjs. Treba joj Node 18 ili noviji, a paketi nisu potrebni. Jednom pročita robots.txt, zatim dohvati vašu stranicu kao preglednik, a potom kao sedam AI crawlera: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot i Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic ne objavljuje pune user agent nizove, pa dva retka za Claude koriste samo oznaku crawlera. Vatrozid koji se oslanja na oznaku reagira na isti način.

Kako je pokrenuti?

Pokrenite je na stranici vlastitog web-mjesta. Neobavezna zastavica --expect provjerava nalazi li se rečenica iz vašeg glavnog sadržaja u sirovom HTML-u koji svaki crawler prima. Ako je nema, tekst se dodaje skriptama nakon učitavanja, a mnogi ga crawleri neće vidjeti.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Pokrećite je samo na stranicama koje posjedujete ili smijete testirati. Šalje devet zahtjeva: robots.txt, preglednik i po jedan za svaki crawler.

Kako izgleda ispis?

Ovo je rezultat na namjerno neprijateljskom lokalnom testnom poslužitelju koji izaziva OAI-SearchBot challengeom, ograničava brzinu ClaudeBotu, PerplexityBotu poslužuje praznu ljusku, a GPTBot zabranjuje u robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Na aiseewhy.com svaki crawler dobiva cijelu stranicu, s istim statusom i veličinom kao preglednik.

Kako čitati tablicu?

Što skripta ne može reći?

Što vidimo na stvarnim web-mjestima?

AISeeWhy provodi ovakvu provjeru za 14 crawlera. Od 165 poslovnih web-mjesta u SAD-u, Ujedinjenom Kraljevstvu i Francuskoj koja smo mogli testirati, njih 38% (63) odbilo je na poslužitelju barem jednog AI crawlera, dok je preglednik s iste adrese dobio stranicu. Svako od tih web-mjesta odbilo je barem jednog crawlera za treniranje ili scrapera, a 10% (16 web-mjesta) odbilo je i barem jednog AI crawlera za pretraživanje, kao što su PerplexityBot (11 web-mjesta) ili OAI-SearchBot (5).

Web-mjesta nisu slučajan uzorak, a još 53 nismo mogli testirati jer je čak i običan zahtjev preglednika bio odbijen ili bez odgovora. Shvatite to kao obrazac koji vrijedi provjeriti na vlastitoj stranici, a ne kao popis.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Je li sigurno pokretati ovo na bilo kojoj stranici?

Pokrećite je samo na stranicama koje posjedujete ili smijete testirati. Šalje zahtjeve s user agentima crawlera, što neke zaštite od botova smatraju neprijateljskim.

Zašto GPTBot pokazuje ok kad ga robots.txt zabranjuje?

robots.txt je zahtjev, a ne brava. Poslužitelj odgovara svakome tko ga ignorira, pa stupac HTTP kaže ok. Pravilo uz njega pokazuje što se pridržava uljudan crawler.

Izvršava li skripta JavaScript?

Ne, namjerno. Pokazuje HTML koji prima crawler koji ne renderira stranice. Zastavica --expect govori nalazi li se vaš glavni tekst već u tom HTML-u.

Znači li čist rezultat da će ChatGPT citirati moju stranicu?

Ne. Pristup je nužan, ali nije dovoljan. Da biste vidjeli navodi li asistent vašu stranicu, postavite mu pitanja koja postavljaju vaši kupci i zabilježite koje stranice citira.

Izvori

Još članaka