Mit kapnak valójában az AI-crawlerek az oldaladtól? Egy 66 soros script

Megjelent

Rövid válasz

Kérd le az oldalt böngészőként, majd az egyes AI-crawlerekként, és hasonlítsd össze az eredményt. Ha csak a crawler kap 403-at, 429-et vagy challenge oldalt, vagy a 200-as válasz jóval kisebb a böngészőének, akkor a tűzfal akkor is elutasítja, ha a robots.txt engedi. Egy 66 soros Node-script hét crawlerre végzi el az ellenőrzést, és az RFC 9309 szabályai szerint olvassa a robots.txt-et.

A robots.txt megmondja a crawlernek, mit kérhet le. Azt viszont nem mondja meg, mit küld vissza ténylegesen a tűzfalad vagy a CDN-ed. Ez a bejegyzés egy rövid scriptet ad, amely egymás mellett mutatja a kettőt, így láthatod, hol térnek el egymástól.

Ezen az oldalon
  1. Miért nem árulja el a robots.txt, mit kap a crawler?
  2. A script
  3. Hogyan futtassam?
  4. Hogyan néz ki a kimenet?
  5. Hogyan olvassam a táblázatot?
  6. Mit nem tud megmondani a script?
  7. Mit látunk valós weboldalakon?

Miért nem árulja el a robots.txt, mit kap a crawler?

A robots.txt csak kérés. Hogy valójában mi érkezik vissza, azt a tűzfal, a CDN vagy a botvédelmi szabály dönti el, és az OAI-SearchBot vagy a PerplexityBot kérésére 403-at, 429-et vagy "Just a moment..." oldalt adhat, miközben a saját böngészős látogatásaid teljesen normálisan működnek.

Az ellenőrzés lényege: kérd le ugyanazt az URL-t böngészőként és crawlerként, majd hasonlítsd össze az eredményt. Ha csak a crawler kap 403-at, 429-et vagy 503-at, ha az oldal címe Just a moment..., vagy ha a 200-as válasz jóval kisebb a böngészőének, az mind a tűzfalra utal.

A script

Mentsd ai-crawler-view.mjs néven. Node 18-as vagy újabb verzió kell hozzá, csomagokra nincs szükség. Egyszer beolvassa a robots.txt-et, lekéri az oldalt böngészőként, majd hét AI-crawlerként: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot és Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Az Anthropic nem közöl teljes user agent karakterláncot, ezért a két Claude-sor csak a crawler tokent használja. Az a tűzfal, amely a tokenre illeszt, ugyanígy reagál.

Hogyan futtassam?

Futtasd a saját oldalad egy oldalán. Az opcionális --expect kapcsoló azt ellenőrzi, hogy a fő tartalmad egy mondata szerepel-e az egyes crawlerek által kapott nyers HTML-ben. Ha hiányzik, akkor script tölti be a szöveget az oldal betöltése után, és sok crawler ezt nem látja.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Csak olyan oldalon futtasd, amely a tiéd, vagy amelyen engedélyezett a tesztelés. Kilenc kérést küld: a robots.txt-et, a böngészőt, majd crawlerenként egyet.

Hogyan néz ki a kimenet?

Ez az eredménye egy szándékosan ellenséges helyi tesztszervernek, amely challenge-et ad az OAI-SearchBot-nak, korlátozza a ClaudeBot kéréseit, üres vázat szolgál ki a PerplexityBot-nak, és a robots.txt-ben tiltja a GPTBot-ot:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Az aiseewhy.com oldalon minden crawler a teljes oldalt kapja, a böngészővel megegyező állapotkóddal és mérettel.

Hogyan olvassam a táblázatot?

Mit nem tud megmondani a script?

Mit látunk valós weboldalakon?

Az AISeeWhy 14 crawlerre végez ilyen ellenőrzést. Az Egyesült Államokban, az Egyesült Királyságban és Franciaországban az általunk tesztelhető 165 üzleti weboldal közül 38% (63 oldal) szerveroldalon legalább egy AI-crawlert elutasított, miközben az ugyanarról a címről érkező böngésző megkapta az oldalt. Ezek közül mindegyik elutasított legalább egy tanításra szolgáló vagy scraper botot, 10% (16 oldal) pedig legalább egy AI-keresőcrawlert is, például a PerplexityBot-ot (11 oldal) vagy az OAI-SearchBot-ot (5).

Az oldalak nem véletlenszerű mintát alkotnak, és további 53 oldalt nem lehetett tesztelni, mert még egy sima böngészős kérést is elutasítottak vagy nem válaszoltak rá. Tekintsd ezt egy olyan mintázatnak, amelyet érdemes a saját oldaladon ellenőrizni, nem népszámlálásnak.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

Biztonságos ezt bármelyik oldalon futtatni?

Csak olyan oldalon futtasd, amely a tiéd, vagy amelyen engedélyezett a tesztelés. Crawler user agentekkel küld kéréseket, amelyeket egyes botvédelmi rendszerek ellenségesnek tekintenek.

Miért mutat a GPTBot ok-t, ha a robots.txt tiltja?

A robots.txt kérés, nem zár. A szerver mindenkinek válaszol, aki figyelmen kívül hagyja, ezért az HTTP oszlopban ok szerepel. A mellette álló szabály mutatja, mit tart be a jól viselkedő crawler.

Futtat a script JavaScriptet?

Nem, szándékosan. Azt a HTML-t mutatja, amelyet a nem renderelő crawler megkap. A --expect kapcsoló megmondja, hogy a fő szövegod már benne van-e ebben a HTML-ben.

Azt jelenti a hibátlan eredmény, hogy a ChatGPT idézni fogja az oldalamat?

Nem. A hozzáférés szükséges, de nem elégséges. Hogy egy asszisztens megnevezi-e az oldaladat, úgy derítheted ki, ha feltéded neki a vásárlóid kérdéseit, és megnézed, mely oldalakat idézi.

Források

További cikkek