Mida AI-robotid su saidilt tegelikult saavad? 66-realine skript

Avaldatud

Lühike vastus

Küsi oma lehte brauserina ja iga AI-robotina ning võrdle tulemusi. Kui ainult robot saab vastuseks 403, 429 või väljakutselehe, või kui 200-vastus on brauseri omast palju väiksem, keelab tulemüür roboti välja ka siis, kui robots.txt lubab. 66-realine Node'i skript teeb seda seitsme roboti jaoks ja loeb robots.txt-i RFC 9309 reeglite järgi.

robots.txt ütleb robotile, mida ta tohib küsida. See ei ütle midagi selle kohta, mida sinu tulemüür või CDN tegelikult vastuseks saadab. Selles postituses on lühike skript, mis näitab mõlemat kõrvuti, et näeksid, kus need omavahel lahku lähevad.

Sellel lehel
  1. Miks robots.txt ei näita, mida robot saab?
  2. Skript
  3. Kuidas seda käivitada?
  4. Milline väljund välja näeb?
  5. Kuidas tabelit lugeda?
  6. Mida skript ei suuda öelda?
  7. Mida näeme päris veebisaitidel?

Miks robots.txt ei näita, mida robot saab?

robots.txt on palve. Tulemüür, CDN või robotikaitse reegel otsustab, mida tegelikult vastuseks saadetakse, ja see võib vastata OAI-SearchBot-ile või PerplexityBot-ile 403, 429 või lehega "Just a moment...", samal ajal kui sinu enda brauseris paistab kõik korras.

Kontroll on lihtne: küsi sama URL-i brauserina ja robotina ning võrdle. Kui 403, 429 või 503 tuleb ainult robotile, kui leht kannab pealkirja Just a moment... või kui 200-vastus on brauseri omast palju väiksem, viitab see kõik tulemüürile.

Skript

Salvesta see nimega ai-crawler-view.mjs. Vaja on Node 18 või uuemat ja ühtegi paketti pole vaja. Skript loeb robots.txt-i korra, hangib sinu lehe brauserina ja seejärel seitsme AI-robotina: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot ja Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic ei avalda täielikke kasutajaagendi stringe, seega kasutavad kaks Claude'i rida ainult roboti tunnust. Tulemüür, mis tunnuse järgi reageerib, käitub samamoodi.

Kuidas seda käivitada?

Käivita see oma saidi lehe vastu. Valikuline lipp --expect kontrollib, kas lause sinu põhisisust on olemas toores HTML-is, mille iga robot saab. Kui lauset seal pole, lisavad skriptid teksti alles pärast laadimist ja paljud robotid ei näe seda.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Käivita see ainult saitidel, mis on sinu omad või mida tohid testida. See saadab üheksa päringut: robots.txt, brauser ja üks iga roboti kohta.

Milline väljund välja näeb?

See on tulemus meelega vaenuliku kohaliku testserveri vastu, mis esitab OAI-SearchBot-ile väljakutse, piirab ClaudeBot-i päringute arvu, annab PerplexityBot-ile tühja kesta ja keelab robots.txt-is GPTBot-i:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Saidil aiseewhy.com saab iga robot täieliku lehe, sama oleku ja suurusega nagu brauser.

Kuidas tabelit lugeda?

Mida skript ei suuda öelda?

Mida näeme päris veebisaitidel?

AISeeWhy teeb sellist kontrolli 14 roboti jaoks. 165 ettevõtte saidist USA-s, Ühendkuningriigis ja Prantsusmaal, mida suutsime testida, keeras 38% (63 saiti) serveri tasandil ära vähemalt ühe AI-roboti, samal ajal kui samalt aadressilt tulnud brauser sai lehe kätte. Kõik need saidid keelasid vähemalt ühe treening- või kraapimisroboti ning 10% (16 saiti) keelas lisaks vähemalt ühe AI-otsinguroboti, näiteks PerplexityBot (11 saiti) või OAI-SearchBot (5).

Saidid ei ole juhuvalim ja veel 53 saiti ei saanud testida, sest isegi tavaline brauseripäring lükati tagasi või jäi vastuseta. Võta seda mustrina, mida tasub oma saidil kontrollida, mitte rahvaloendusena.

Tasuta tööriistad

Järgmised sammud

Selles artiklis olevad robotid

Korduma kippuvad küsimused

Kas seda on ohutu mis tahes saidi vastu käivitada?

Käivita see ainult saitide vastu, mis on sinu omad või mida tohid testida. See saadab päringuid robotite kasutajaagentidega, mida mõned robotikaitsed peavad vaenulikeks.

Miks näitab GPTBot ok, kui robots.txt selle keelab?

robots.txt on palve, mitte lukk. Server vastab igaühele, kes seda eirab, seega näitab HTTP veerg ok. Selle kõrval olev reegel näitab, mida viisakas robot järgib.

Kas skript käivitab JavaScripti?

Ei, ja seda tehakse meelega. See näitab HTML-i, mille saab robot, kes lehti ei renderda. Lipp --expect ütleb, kas sinu põhitekst on selles HTML-is juba olemas.

Kas korras tulemus tähendab, et ChatGPT tsiteerib minu lehte?

Ei. Ligipääs on vajalik, aga mitte piisav. Et näha, kas assistent nimetab sinu saiti, küsi temalt küsimusi, mida su ostjad küsivad, ja märgi üles, milliseid saite ta tsiteerib.

Allikad

Veel artikleid