Čo AI crawlery naozaj dostanú z vášho webu? Skript na 66 riadkov

Publikované

Krátka odpoveď

Vyžiadajte si stránku ako prehliadač a ako každý AI crawler a porovnajte výsledky. Ak dostane 403, 429 alebo challenge stránku iba crawler, alebo ak odpoveď 200 je oveľa menšia než stránka pre prehliadač, firewall crawler odmieta, aj keď ho robots.txt povoľuje. Skript v Node na 66 riadkov to otestuje pre sedem crawlerov a robots.txt číta podľa pravidiel RFC 9309.

robots.txt hovorí crawleru, čo smie sťahovať. Nehovorí nič o tom, čo mu váš firewall alebo CDN naozaj pošle späť. Tento príspevok ponúka krátky skript, ktorý ukáže oboje vedľa seba, aby ste videli, kde sa tieto dve veci rozchádzajú.

Na tejto stránke
  1. Prečo robots.txt nepovie, čo crawler dostane?
  2. Skript
  3. Ako ho spustím?
  4. Ako vyzerá výstup?
  5. Ako čítať tabuľku?
  6. Čo vám skript nepovie?
  7. Čo vidíme na skutočných weboch?

Prečo robots.txt nepovie, čo crawler dostane?

robots.txt je len žiadosť. O tom, čo sa naozaj pošle späť, rozhoduje firewall, CDN alebo pravidlo ochrany pred botmi. Môže odpovedať OAI-SearchBot alebo PerplexityBot kódom 403, 429 či stránkou „Just a moment...", zatiaľ čo vaše vlastné návštevy v prehliadači vyzerajú úplne normálne.

Kontrola spočíva v tom, že si vyžiadate tú istú adresu ako prehliadač a ako crawler a porovnáte odpovede. Kód 403, 429 alebo 503 iba pre crawler, stránka s titulkom Just a moment... alebo odpoveď 200, ktorá je oveľa menšia než tá pre prehliadač, poukazujú na firewall.

Skript

Uložte ho ako ai-crawler-view.mjs. Potrebuje Node 18 alebo novší a žiadne balíky. Raz načíta robots.txt, potom stiahne vašu stránku ako prehliadač a následne ako sedem AI crawlerov: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot a Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic neuvádza úplné reťazce user agentov, preto dva riadky pre Claude používajú iba token crawlera. Firewall, ktorý reaguje na token, sa zachová rovnako.

Ako ho spustím?

Spustite ho na stránke vlastného webu. Voliteľný príznak --expect skontroluje, či sa veta z vášho hlavného obsahu nachádza v surovom HTML, ktoré každý crawler dostane. Ak chýba, text pridávajú skripty až po načítaní a mnohé crawlery ho neuvidia.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Spúšťajte ho iba na weboch, ktoré vlastníte alebo ktoré smiete testovať. Odošle deväť požiadaviek: robots.txt, prehliadač a po jednej na každý crawler.

Ako vyzerá výstup?

Toto je výsledok na zámerne nepriateľskom lokálnom testovacom serveri, ktorý pre OAI-SearchBot zobrazuje challenge, ClaudeBot obmedzuje počtom požiadaviek, PerplexityBot podáva prázdnu schránku a GPTBot zakazuje v robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Na aiseewhy.com dostane každý crawler celú stránku s rovnakým stavom a veľkosťou ako prehliadač.

Ako čítať tabuľku?

Čo vám skript nepovie?

Čo vidíme na skutočných weboch?

AISeeWhy robí takúto kontrolu pre 14 crawlerov. Spomedzi 165 firemných webov v USA, Británii a Francúzsku, ktoré sa nám podarilo otestovať, 38% (63 webov) odmietlo na úrovni servera aspoň jeden AI crawler, zatiaľ čo prehliadač z tej istej adresy stránku dostal. Každý z týchto webov odmietol aspoň jedného tréningového alebo scraper bota a 10% (16 webov) odmietlo aj aspoň jeden AI vyhľadávací crawler, napríklad PerplexityBot (11 webov) alebo OAI-SearchBot (5).

Weby nie sú náhodná vzorka a ďalších 53 sa nedalo otestovať, lebo aj obyčajnú požiadavku z prehliadača odmietli alebo na ňu neodpovedali. Berte to ako vzorec, ktorý stojí za kontrolu na vašom webe, nie ako sčítanie.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Je bezpečné spustiť to na ľubovoľnom webe?

Spúšťajte to iba na weboch, ktoré vlastníte alebo ktoré smiete testovať. Skript posiela požiadavky s user agentmi crawlerov, ktoré niektoré ochrany pred botmi považujú za nepriateľské.

Prečo GPTBot ukazuje ok, keď ho robots.txt zakazuje?

robots.txt je žiadosť, nie zámok. Server odpovie každému, kto ho ignoruje, preto stĺpec HTTP ukazuje ok. Pravidlo vedľa neho ukazuje, čo dodržiava slušný crawler.

Spúšťa skript JavaScript?

Nie, zámerne. Ukazuje HTML, ktoré dostane crawler nerenderujúci stránky. Príznak --expect vám povie, či je váš hlavný text už v tomto HTML.

Znamená čistý výsledok, že ChatGPT ocituje moju stránku?

Nie. Prístup je nevyhnutný, ale nestačí. Aby ste zistili, či asistent uvádza váš web, položte mu otázky, ktoré kladú vaši kupujúci, a zapíšte si, ktoré weby cituje.

Zdroje

Ďalšie články