Шта AI краулери заправо добијају са вашег сајта? Скрипта од 66 редова
Затражите страницу као прегледач и као сваки AI краулер, па упоредите одговоре. Ако само краулер добије 403, 429 или изазовну страницу, или 200 са много мањим садржајем него прегледач, заштитни зид га одбија иако га robots.txt дозвољава. Node скрипта од 66 редова ради то за седам краулера и чита robots.txt по правилима RFC 9309.
robots.txt говори краулеру шта сме да преузме. Не говори шта ваш заштитни зид или CDN заиста враћају. Овај чланак даје кратку скрипту која оба резултата приказује један поред другог, па можете видети где се не слажу.
На овој страници
Зашто robots.txt не показује шта краулер добија?
robots.txt је молба. Заштитни зид, CDN или правило за заштиту од ботова одлучује шта се заиста враћа, и може да одговори OAI-SearchBot или PerplexityBot са 403, 429 или страницом „Just a moment...“, док ваше посете из прегледача изгледају сасвим нормално.
Провера је да затражите исти URL као прегледач и као краулер, па упоредите. Ако само краулер добије 403, 429 или 503, ако страница има наслов Just a moment..., или ако је одговор 200 много мањи од оног који добија прегледач, узрок је заштитни зид.
Скрипта
Сачувајте је као ai-crawler-view.mjs. Потребан је Node 18 или новији и ниједан пакет. Скрипта једном чита robots.txt, затим преузима вашу страницу као прегледач, а потом као седам AI краулера: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot и Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic не објављује пуне user agent ниске, па две Claude линије користе само ознаку краулера. Заштитни зид који реагује на ознаку реагује на исти начин.
Како да је покренем?
Покрените је над страницом свог сајта. Опциона заставица --expect проверава да ли је реченица из вашег главног садржаја присутна у сировом HTML-у који сваки краулер прима. Ако недостаје, текст додају скрипте након учитавања, а многи краулери га неће видети.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Покрећите је само на сајтовима које поседујете или које смете да тестирате. Шаље девет захтева: robots.txt, прегледач и по један за сваког краулера.
Како изгледа излаз?
Ово је резултат на намерно непријатељском локалном тест серверу који изазива OAI-SearchBot, ограничава учесталост за ClaudeBot, PerplexityBot-у враћа празну љуску, а у robots.txt забрањује GPTBot:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok На aiseewhy.com сваки краулер добија целу страницу, са истим статусом и величином као прегледач.
Како се чита табела?
- Колона robots.txt је дозвола коју сте дали: правило које се примењује на тог краулера по RFC 9309, а то је група која именује краулера, иначе
*, затим најдуже подударно правило, при чемуAllowпобеђује у случају нерешеног. - Колоне HTTP и bytes показују шта је сервер урадио.
GPTBotима 200 јер сервер одговара свакоме ко игнорише robots.txt; правило поред њега је оно што се уредан краулер придржава. - Опасни редови су супротни:
allow: /поредBLOCKEDилиTHIN. То је сајт који каже да, а одговара не.
Шта скрипта не може да вам каже?
- Тестира user agent ниске са ваше IP адресе, а не праве краулере. Многи заштитни зидови проверавају краулера по IP опсезима које његов власник објављује, па прави
OAI-SearchBotможе да прође кад ваш захтев буде одбијен, или обрнуто. Користите је да пронађете правила која реагују на user agent, а затим проверите објављене IP листе произвођача. - Не извршава JavaScript, намерно: приказује HTML који би видео краулер који не рендерује странице.
- Чист резултат није препорука. Бити читљив није исто што и бити цитиран.
Шта видимо на правим сајтовима?
AISeeWhy спроводи ову врсту провере за 14 краулера. Од 165 пословних сајтова у САД, УК и Француској које смо могли да тестирамо, 38% (63 сајта) је на серверу одбило најмање једног AI краулера, док је прегледач са исте адресе добио страницу. Сваки од тих сајтова одбио је најмање једног тренинг или scraper бота, а 10% (16 сајтова) одбило је и најмање једног AI претраживачког краулера, као што су PerplexityBot (11 сајтова) или OAI-SearchBot (5).
Сајтови нису случајан узорак, а још 53 није могло да се тестира јер је чак и обичан захтев прегледача одбијен или остао без одговора. Схватите то као образац који вреди проверити на свом сајту, а не као попис.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли је безбедно покретати ово на било ком сајту?
Покрећите је само на сајтовима које поседујете или које смете да тестирате. Шаље захтеве са user agent ниским краулера, које неки системи за одбрану од ботова сматрају непријатељским.
Зашто GPTBot приказује ok кад га robots.txt забрањује?
robots.txt је молба, а не брава. Сервер одговара свакоме ко га игнорише, па колона HTTP показује ok. Правило поред ње показује чега се придржава уредан краулер.
Да ли скрипта извршава JavaScript?
Не, намерно. Приказује HTML који прима краулер што не рендерује странице. Заставица --expect показује да ли је ваш главни текст већ у том HTML-у.
Значи ли чист резултат да ће ChatGPT цитирати моју страницу?
Не. Приступ је потребан, али није довољан. Да видите да ли асистент помиње ваш сајт, поставите му питања која постављају ваши купци и забележите које сајтове цитира.
Извори
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)