AI краулерлері сайтыңыздан шын мәнінде не алады? 66 жолдық скрипт
Бетіңізді браузер ретінде де, әр AI краулері ретінде де сұратып, нәтижені салыстырыңыз. Тек краулерге берілген 403, 429 немесе challenge беті, не браузердегі беттен әлдеқайда кіші 200 жауабы robots.txt рұқсат берсе де, брандмауэр оны қабылдамайтынын көрсетеді. 66 жолдық Node скрипті мұны жеті краулер үшін жасайды және robots.txt файлын RFC 9309 ережелері бойынша оқиды.
robots.txt краулерге нені алуға болатынын айтады. Ал брандмауэр немесе CDN шын мәнінде не қайтаратынын ол айтпайды. Бұл жазбада екеуін қатар көрсететін қысқа скрипт бар, сондықтан олардың қай жерде сәйкес келмейтінін көре аласыз.
Осы бетте
robots.txt краулер не алатынын неге көрсетпейді?
robots.txt — бұл өтініш. Шын мәнінде не жіберілетінін брандмауэр, CDN немесе бот-қорғаныс ережесі шешеді. Ол OAI-SearchBot немесе PerplexityBot сұрауына 403, 429 немесе "Just a moment..." бетімен жауап бере алады, ал өз браузеріңізбен кіргенде бәрі қалыпты көрінеді.
Тексеру тәсілі: бір URL-ді браузер ретінде де, краулер ретінде де сұратып, салыстыру. Тек краулерге берілген 403, 429 немесе 503, Just a moment... деген атаулы бет не браузердегіден әлдеқайда кіші 200 жауабы брандмауэрді көрсетеді.
Скрипт
Оны ai-crawler-view.mjs деп сақтаңыз. Ол үшін Node 18 немесе одан жаңа нұсқа керек, пакеттер қажет емес. Скрипт robots.txt файлын бір рет оқиды, бетіңізді браузер ретінде, содан кейін жеті AI краулері ретінде сұратады: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot және Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic толық user agent жолдарын жарияламайды, сондықтан Claude-тың екі жолында тек краулер токені қолданылады. Токен бойынша сәйкестендіретін брандмауэр да дәл солай әрекет етеді.
Оны қалай іске қосамын?
Скриптті өз сайтыңыздың бетіне қарсы іске қосыңыз. Міндетті емес --expect жалауы негізгі мазмұныңыздағы сөйлем әр краулер алатын шикі HTML-де бар-жоғын тексереді. Егер жоқ болса, мәтінді скрипттер жүктелгеннен кейін қосады, ал көптеген краулерлер оны көрмейді.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Оны тек өзіңізге тиесілі немесе тексеруге рұқсат етілген сайттарда іске қосыңыз. Ол тоғыз сұрау жібереді: robots.txt, браузер және әр краулерге бір-бірден.
Нәтиже қалай көрінеді?
Бұл — OAI-SearchBot үшін challenge беретін, ClaudeBot жылдамдығын шектейтін, PerplexityBot үшін бос қабық беретін және robots.txt ішінде GPTBot үшін тыйым салатын әдейі қатал локалды тест серверіне қарсы алынған нәтиже:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok aiseeWhy.com сайтында әр краулер браузермен бірдей статус пен өлшемі бар толық бетті алады.
Кестені қалай оқимын?
- robots.txt бағаны — өзіңіз берген рұқсат: RFC 9309 бойынша сол краулерге қолданылатын ереже. Яғни краулер аталған топ, болмаса
*, содан кейін ең ұзын сәйкес ереже, тең болсаAllowбасым болады. - HTTP және bytes бағандары — сервер не істегенін көрсетеді.
GPTBotүшін 200 көрсетіледі, себебі сервер robots.txt файлын елемейтін кез келген адамға жауап береді; жанындағы ереже — тәртіпті краулер бағынатын нәрсе. - Қауіпті жолдар — керісінше жағдай:
allow: /жанындаBLOCKEDнемесеTHIN. Бұл «иә» деп айтып, «жоқ» деп жауап беретін сайт.
Скрипт нені айта алмайды?
- Ол нақты краулерлерді емес, өз IP мекенжайыңыздан user agent-терді тексереді. Көптеген брандмауэрлер краулерді жеткізушінің жарияланған IP диапазондары бойынша тексереді, сондықтан сіздің сұрауыңыз қабылданбағанда нақты
OAI-SearchBotөтіп кетуі мүмкін, не керісінше. Оны user agent-ке жауап беретін ережелерді табу үшін қолданыңыз, содан кейін жеткізушілердің жарияланған IP тізімдерін тексеріңіз. - Ол JavaScript орындамайды, бұл әдейі жасалған: рендерлемейтін краулер көретін HTML-ді көрсетеді.
- Таза нәтиже — ұсыныс емес. Оқуға болатын болу дегеніміз дәйексөз келтірілу дегенді білдірмейді.
Нақты сайттарда не көреміз?
AISeeWhy мұндай тексеруді 14 краулер үшін жүргізеді. АҚШ, Ұлыбритания және Францияның біз тексере алған 165 бизнес-сайтының ішінде 38% (63 сайт) кемінде бір AI краулерін серверде қайтарды, ал сол мекенжайдан келген браузер бетті алды. Бұл сайттардың барлығы кемінде бір оқыту немесе скрейпер ботынан бас тартты, ал 10% (16 сайт) кемінде бір AI іздеу краулерінен де бас тартты, мысалы PerplexityBot (11 сайт) немесе OAI-SearchBot (5).
Сайттар кездейсоқ іріктеме емес, тағы 53 сайтты тексеру мүмкін болмады, себебі қарапайым браузер сұрауы да қабылданбады немесе жауапсыз қалды. Мұны халық санағы емес, өз сайтыңыздан тексеруге тұрарлық заңдылық деп қараңыз.
Келесі қадамдар
- ЖИ краулерлеріне арналған robots.txt тестері мен тексерушісі
- ЖИ краулерінің IP тексеруі
- Толық есептің мысалын қараңыз
- ЖИ краулерлерін бақылау
- Жоспарлар мен бағалар
Осы мақаладағы краулерлер
Жиі қойылатын сұрақтар
Мұны кез келген сайтқа қарсы іске қосу қауіпсіз бе?
Оны тек өзіңізге тиесілі немесе тексеруге рұқсат етілген сайттарда іске қосыңыз. Ол краулер user agent-терімен сұрау жібереді, ал кейбір бот-қорғаныстар оларды қатер деп санайды.
robots.txt тыйым салса да, GPTBot неге ok көрсетеді?
robots.txt — құлып емес, өтініш. Сервер оны елемейтін кез келген адамға жауап береді, сондықтан HTTP бағанында ok көрсетіледі. Жанындағы ереже тәртіпті краулер неге бағынатынын көрсетеді.
Скрипт JavaScript орындай ма?
Жоқ, бұл әдейі жасалған. Ол беттерді рендерлемейтін краулер алатын HTML-ді көрсетеді. --expect жалауы негізгі мәтініңіздің сол HTML-де бар-жоғын айтады.
Таза нәтиже ChatGPT беті мді дәйексөз келтіреді дегенді білдіре ме?
Жоқ. Қолжетімділік қажет, бірақ жеткіліксіз. Көмекші сайтыңызды атайтынын көру үшін оған сатып алушыларыңыз қоятын сұрақтарды қойып, қандай сайттарды келтіретінін белгілеңіз.
Дереккөздер
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI краулерлеріне шолу
- Anthropic: Anthropic вебтен деректерді жинай ма және сайт иелері краулерді қалай бұғаттай алады?
- Perplexity: Perplexity краулерлері
- Cloudflare: AI краулерлерін басқару (AI Crawl Control)