Шта AI краулери заправо добијају са вашег сајта? Скрипта од 66 редова

Објављено

Кратак одговор

Затражите страницу као прегледач и као сваки AI краулер, па упоредите одговоре. Ако само краулер добије 403, 429 или изазовну страницу, или 200 са много мањим садржајем него прегледач, заштитни зид га одбија иако га robots.txt дозвољава. Node скрипта од 66 редова ради то за седам краулера и чита robots.txt по правилима RFC 9309.

robots.txt говори краулеру шта сме да преузме. Не говори шта ваш заштитни зид или CDN заиста враћају. Овај чланак даје кратку скрипту која оба резултата приказује један поред другог, па можете видети где се не слажу.

На овој страници
  1. Зашто robots.txt не показује шта краулер добија?
  2. Скрипта
  3. Како да је покренем?
  4. Како изгледа излаз?
  5. Како се чита табела?
  6. Шта скрипта не може да вам каже?
  7. Шта видимо на правим сајтовима?

Зашто robots.txt не показује шта краулер добија?

robots.txt је молба. Заштитни зид, CDN или правило за заштиту од ботова одлучује шта се заиста враћа, и може да одговори OAI-SearchBot или PerplexityBot са 403, 429 или страницом „Just a moment...“, док ваше посете из прегледача изгледају сасвим нормално.

Провера је да затражите исти URL као прегледач и као краулер, па упоредите. Ако само краулер добије 403, 429 или 503, ако страница има наслов Just a moment..., или ако је одговор 200 много мањи од оног који добија прегледач, узрок је заштитни зид.

Скрипта

Сачувајте је као ai-crawler-view.mjs. Потребан је Node 18 или новији и ниједан пакет. Скрипта једном чита robots.txt, затим преузима вашу страницу као прегледач, а потом као седам AI краулера: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot и Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic не објављује пуне user agent ниске, па две Claude линије користе само ознаку краулера. Заштитни зид који реагује на ознаку реагује на исти начин.

Како да је покренем?

Покрените је над страницом свог сајта. Опциона заставица --expect проверава да ли је реченица из вашег главног садржаја присутна у сировом HTML-у који сваки краулер прима. Ако недостаје, текст додају скрипте након учитавања, а многи краулери га неће видети.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Покрећите је само на сајтовима које поседујете или које смете да тестирате. Шаље девет захтева: robots.txt, прегледач и по један за сваког краулера.

Како изгледа излаз?

Ово је резултат на намерно непријатељском локалном тест серверу који изазива OAI-SearchBot, ограничава учесталост за ClaudeBot, PerplexityBot-у враћа празну љуску, а у robots.txt забрањује GPTBot:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

На aiseewhy.com сваки краулер добија целу страницу, са истим статусом и величином као прегледач.

Како се чита табела?

Шта скрипта не може да вам каже?

Шта видимо на правим сајтовима?

AISeeWhy спроводи ову врсту провере за 14 краулера. Од 165 пословних сајтова у САД, УК и Француској које смо могли да тестирамо, 38% (63 сајта) је на серверу одбило најмање једног AI краулера, док је прегледач са исте адресе добио страницу. Сваки од тих сајтова одбио је најмање једног тренинг или scraper бота, а 10% (16 сајтова) одбило је и најмање једног AI претраживачког краулера, као што су PerplexityBot (11 сајтова) или OAI-SearchBot (5).

Сајтови нису случајан узорак, а још 53 није могло да се тестира јер је чак и обичан захтев прегледача одбијен или остао без одговора. Схватите то као образац који вреди проверити на свом сајту, а не као попис.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли је безбедно покретати ово на било ком сајту?

Покрећите је само на сајтовима које поседујете или које смете да тестирате. Шаље захтеве са user agent ниским краулера, које неки системи за одбрану од ботова сматрају непријатељским.

Зашто GPTBot приказује ok кад га robots.txt забрањује?

robots.txt је молба, а не брава. Сервер одговара свакоме ко га игнорише, па колона HTTP показује ok. Правило поред ње показује чега се придржава уредан краулер.

Да ли скрипта извршава JavaScript?

Не, намерно. Приказује HTML који прима краулер што не рендерује странице. Заставица --expect показује да ли је ваш главни текст већ у том HTML-у.

Значи ли чист резултат да ће ChatGPT цитирати моју страницу?

Не. Приступ је потребан, али није довољан. Да видите да ли асистент помиње ваш сајт, поставите му питања која постављају ваши купци и забележите које сајтове цитира.

Извори

Још чланака