AI краулерлері сайтыңыздан шын мәнінде не алады? 66 жолдық скрипт

Жарияланды

Қысқа жауап

Бетіңізді браузер ретінде де, әр AI краулері ретінде де сұратып, нәтижені салыстырыңыз. Тек краулерге берілген 403, 429 немесе challenge беті, не браузердегі беттен әлдеқайда кіші 200 жауабы robots.txt рұқсат берсе де, брандмауэр оны қабылдамайтынын көрсетеді. 66 жолдық Node скрипті мұны жеті краулер үшін жасайды және robots.txt файлын RFC 9309 ережелері бойынша оқиды.

robots.txt краулерге нені алуға болатынын айтады. Ал брандмауэр немесе CDN шын мәнінде не қайтаратынын ол айтпайды. Бұл жазбада екеуін қатар көрсететін қысқа скрипт бар, сондықтан олардың қай жерде сәйкес келмейтінін көре аласыз.

Осы бетте
  1. robots.txt краулер не алатынын неге көрсетпейді?
  2. Скрипт
  3. Оны қалай іске қосамын?
  4. Нәтиже қалай көрінеді?
  5. Кестені қалай оқимын?
  6. Скрипт нені айта алмайды?
  7. Нақты сайттарда не көреміз?

robots.txt краулер не алатынын неге көрсетпейді?

robots.txt — бұл өтініш. Шын мәнінде не жіберілетінін брандмауэр, CDN немесе бот-қорғаныс ережесі шешеді. Ол OAI-SearchBot немесе PerplexityBot сұрауына 403, 429 немесе "Just a moment..." бетімен жауап бере алады, ал өз браузеріңізбен кіргенде бәрі қалыпты көрінеді.

Тексеру тәсілі: бір URL-ді браузер ретінде де, краулер ретінде де сұратып, салыстыру. Тек краулерге берілген 403, 429 немесе 503, Just a moment... деген атаулы бет не браузердегіден әлдеқайда кіші 200 жауабы брандмауэрді көрсетеді.

Скрипт

Оны ai-crawler-view.mjs деп сақтаңыз. Ол үшін Node 18 немесе одан жаңа нұсқа керек, пакеттер қажет емес. Скрипт robots.txt файлын бір рет оқиды, бетіңізді браузер ретінде, содан кейін жеті AI краулері ретінде сұратады: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot және Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic толық user agent жолдарын жарияламайды, сондықтан Claude-тың екі жолында тек краулер токені қолданылады. Токен бойынша сәйкестендіретін брандмауэр да дәл солай әрекет етеді.

Оны қалай іске қосамын?

Скриптті өз сайтыңыздың бетіне қарсы іске қосыңыз. Міндетті емес --expect жалауы негізгі мазмұныңыздағы сөйлем әр краулер алатын шикі HTML-де бар-жоғын тексереді. Егер жоқ болса, мәтінді скрипттер жүктелгеннен кейін қосады, ал көптеген краулерлер оны көрмейді.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Оны тек өзіңізге тиесілі немесе тексеруге рұқсат етілген сайттарда іске қосыңыз. Ол тоғыз сұрау жібереді: robots.txt, браузер және әр краулерге бір-бірден.

Нәтиже қалай көрінеді?

Бұл — OAI-SearchBot үшін challenge беретін, ClaudeBot жылдамдығын шектейтін, PerplexityBot үшін бос қабық беретін және robots.txt ішінде GPTBot үшін тыйым салатын әдейі қатал локалды тест серверіне қарсы алынған нәтиже:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

aiseeWhy.com сайтында әр краулер браузермен бірдей статус пен өлшемі бар толық бетті алады.

Кестені қалай оқимын?

Скрипт нені айта алмайды?

Нақты сайттарда не көреміз?

AISeeWhy мұндай тексеруді 14 краулер үшін жүргізеді. АҚШ, Ұлыбритания және Францияның біз тексере алған 165 бизнес-сайтының ішінде 38% (63 сайт) кемінде бір AI краулерін серверде қайтарды, ал сол мекенжайдан келген браузер бетті алды. Бұл сайттардың барлығы кемінде бір оқыту немесе скрейпер ботынан бас тартты, ал 10% (16 сайт) кемінде бір AI іздеу краулерінен де бас тартты, мысалы PerplexityBot (11 сайт) немесе OAI-SearchBot (5).

Сайттар кездейсоқ іріктеме емес, тағы 53 сайтты тексеру мүмкін болмады, себебі қарапайым браузер сұрауы да қабылданбады немесе жауапсыз қалды. Мұны халық санағы емес, өз сайтыңыздан тексеруге тұрарлық заңдылық деп қараңыз.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Мұны кез келген сайтқа қарсы іске қосу қауіпсіз бе?

Оны тек өзіңізге тиесілі немесе тексеруге рұқсат етілген сайттарда іске қосыңыз. Ол краулер user agent-терімен сұрау жібереді, ал кейбір бот-қорғаныстар оларды қатер деп санайды.

robots.txt тыйым салса да, GPTBot неге ok көрсетеді?

robots.txt — құлып емес, өтініш. Сервер оны елемейтін кез келген адамға жауап береді, сондықтан HTTP бағанында ok көрсетіледі. Жанындағы ереже тәртіпті краулер неге бағынатынын көрсетеді.

Скрипт JavaScript орындай ма?

Жоқ, бұл әдейі жасалған. Ол беттерді рендерлемейтін краулер алатын HTML-ді көрсетеді. --expect жалауы негізгі мәтініңіздің сол HTML-де бар-жоғын айтады.

Таза нәтиже ChatGPT беті мді дәйексөз келтіреді дегенді білдіре ме?

Жоқ. Қолжетімділік қажет, бірақ жеткіліксіз. Көмекші сайтыңызды атайтынын көру үшін оған сатып алушыларыңыз қоятын сұрақтарды қойып, қандай сайттарды келтіретінін белгілеңіз.

Дереккөздер

Басқа мақалалар