Co AI crawlery skutečně získají z vašeho webu? Skript o 66 řádcích

Publikováno

Stručná odpověď

Vyžádejte si stránku jako prohlížeč a jako každý AI crawler a výsledky porovnejte. Pokud crawler dostane 403, 429 nebo ověřovací stránku, anebo odpověď 200 výrazně menší než stránka v prohlížeči, firewall ho odmítá, i když robots.txt přístup povoluje. Skript v Node o 66 řádcích to ověří pro sedm crawlerů a čte robots.txt podle pravidel RFC 9309.

robots.txt říká crawleru, co smí stáhnout. Neříká nic o tom, co mu váš firewall nebo CDN skutečně odpoví. Tento článek nabízí krátký skript, který ukáže obojí vedle sebe, takže uvidíte, kde si oba zdroje odporují.

Na této stránce
  1. Proč robots.txt neukáže, co crawler skutečně dostane?
  2. Skript
  3. Jak ho spustit?
  4. Jak vypadá výstup?
  5. Jak číst tabulku?
  6. Co skript nezjistí?
  7. Co vidíme na skutečných webech?

Proč robots.txt neukáže, co crawler skutečně dostane?

robots.txt je jen žádost. O tom, co se skutečně odešle, rozhoduje firewall, CDN nebo pravidlo ochrany proti botům. Crawleru OAI-SearchBot nebo PerplexityBot může odpovědět kódem 403, 429 nebo stránkou „Just a moment...“, zatímco vaše návštěvy z prohlížeče vypadají naprosto normálně.

Kontrola spočívá v tom, že si stejnou adresu URL vyžádáte jako prohlížeč a jako crawler a výsledky porovnáte. Kód 403, 429 nebo 503 pouze pro crawler, stránka s názvem Just a moment... nebo odpověď 200 výrazně menší než ta v prohlížeči ukazují na firewall.

Skript

Uložte ho jako ai-crawler-view.mjs. Potřebuje Node 18 nebo novější a žádné balíčky. Jednou načte robots.txt, pak stáhne vaši stránku jako prohlížeč a poté jako sedm AI crawlerů: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot a Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic neuvádí úplné řetězce user agentů, proto dva řádky pro Claude používají jen token crawleru. Firewall, který se řídí tokenem, zareaguje stejně.

Jak ho spustit?

Spusťte ho na stránce vlastního webu. Volitelný parametr --expect ověří, zda je věta z vašeho hlavního obsahu přítomná v surovém HTML, které každý crawler dostane. Pokud chybí, text se doplňuje skripty po načtení a mnoho crawlerů ho neuvidí.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Spouštějte ho jen na webech, které vlastníte nebo smíte testovat. Odešle devět požadavků: robots.txt, prohlížeč a jeden na každý crawler.

Jak vypadá výstup?

Toto je výsledek proti záměrně nepřátelskému lokálnímu testovacímu serveru, který crawler OAI-SearchBot zpochybní ověřením, ClaudeBot omezí počtem požadavků, PerplexityBot obslouží prázdnou schránkou a GPTBot zakáže v robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Na aiseewhy.com dostane každý crawler celou stránku se stejným stavem a velikostí jako prohlížeč.

Jak číst tabulku?

Co skript nezjistí?

Co vidíme na skutečných webech?

AISeeWhy provádí takovou kontrolu pro 14 crawlerů. Z 165 firemních webů v USA, Velké Británii a Francii, které jsme mohli otestovat, 38 % (63 webů) odmítlo na úrovni serveru alespoň jednoho AI crawlera, zatímco prohlížeč ze stejné adresy stránku dostal. Každý z těchto webů odmítl alespoň jednoho trénovacího nebo scraper bota a 10 % (16 webů) odmítlo také alespoň jednoho AI vyhledávacího crawlera, například PerplexityBot (11 webů) nebo OAI-SearchBot (5).

Weby nejsou náhodný vzorek a dalších 53 nešlo otestovat, protože i obyčejný požadavek z prohlížeče byl odmítnut nebo zůstal bez odpovědi. Berte to jako vzorec, který stojí za kontrolu na vašem webu, ne jako sčítání.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Je bezpečné spouštět to na jakémkoli webu?

Spouštějte to jen na webech, které vlastníte nebo smíte testovat. Skript posílá požadavky s user agenty crawlerů, které některé ochrany proti botům považují za nepřátelské.

Proč GPTBot ukazuje ok, když ho robots.txt zakazuje?

robots.txt je žádost, ne zámek. Server odpoví každému, kdo ho ignoruje, proto sloupec HTTP ukazuje ok. Pravidlo vedle něj ukazuje, čím se řídí slušně se chovající crawler.

Spouští skript JavaScript?

Ne, záměrně. Ukazuje HTML, které dostane crawler nevykreslující stránky. Parametr --expect ukáže, zda je váš hlavní text už v tomto HTML.

Znamená čistý výsledek, že ChatGPT moji stránku citovat bude?

Ne. Přístup je nutný, ale nestačí. Chcete-li zjistit, zda asistent váš web uvádí, položte mu otázky, které kladou vaši zákazníci, a zaznamenejte, které weby cituje.

Zdroje

Další články