Што навистина добиваат AI-роботите од вашиот сајт? Скрипта од 66 реда
Побарајте ја страницата како прелистувач и како секој AI-робот, па споредете. Ако само роботот добие 403, 429 или страница со предизвик, или 200 што е многу помал од страницата за прелистувачот, значи дека заштитниот ѕид го одбива и кога robots.txt го дозволува. Скрипта од 66 реда во Node го прави тоа за седум роботи и го чита robots.txt според правилата на RFC 9309.
robots.txt му кажува на роботот што смее да преземе. Не кажува ништо за тоа што навистина враќа вашиот заштитен ѕид или CDN. Овој напис ви дава кратка скрипта што ги покажува двете една до друга, за да видите каде не се согласуваат.
На оваа страница
Зошто robots.txt не кажува што добива роботот?
robots.txt е барање. Заштитниот ѕид, CDN или правилото за заштита од ботови одлучува што навистина се враќа, и може да му одговори на OAI-SearchBot или PerplexityBot со 403, 429 или со страница „Just a moment...“, додека вашите посети со прелистувач изгледаат сосема нормално.
Проверката е да ја побарате истата адреса како прелистувач и како роботот, па да споредите. Ако само роботот добие 403, 429 или 503, ако страницата има наслов Just a moment... или ако одговорот 200 е многу помал од оној за прелистувачот, сето тоа укажува на заштитниот ѕид.
Скриптата
Зачувајте ја како ai-crawler-view.mjs. Потребен е Node 18 или поново и никакви пакети. Го чита robots.txt еднаш, ја презема вашата страница како прелистувач, а потоа како седум AI-роботи: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot и Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic не објавува целосни низи за кориснички агент, па двете линии за Claude го користат само токенот на роботот. Заштитен ѕид што се потпира на токенот реагира исто.
Како да ја извршам?
Извршете ја на страница од вашиот сајт. Опционалниот знак --expect проверува дали реченица од вашата главна содржина е присутна во суровиот HTML што го добива секој робот. Ако недостасува, скрипти го додаваат текстот по вчитувањето, а многу роботи нема да го видат.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Извршете ја само на сајтови што ги поседувате или што смеете да ги тестирате. Испраќа девет барања: robots.txt, прелистувачот и по едно за секој робот.
Како изгледа резултатот?
Ова е резултатот од намерно непријателски локален тест-сервер што му поставува предизвик на OAI-SearchBot, го ограничува ClaudeBot, му дава празна обвивка на PerplexityBot и му забранува пристап на GPTBot во robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok На aiseewhy.com секој робот ја добива целата страница, со ист статус и иста големина како прелистувачот.
Како да ја читам табелата?
- Колоната robots.txt е дозволата што сте ја дале: правилото што важи за тој робот според RFC 9309, односно групата што го именува роботот, инаку
*, потоа најдолгото правило што се совпаѓа, при штоAllowпобедува при изедначување. - Колоните HTTP и bytes покажуваат што направил серверот.
GPTBotпокажува 200 бидејќи серверот одговара на секого што го игнорира robots.txt; правилото покрај него е она што го почитува добро однесуван робот. - Опасните редови се спротивните:
allow: /покрајBLOCKEDилиTHIN. Тоа е сајт што вели да, а одговара не.
Што скриптата не може да ви каже?
- Таа тестира кориснички агенти од вашата IP-адреса, а не вистинските роботи. Многу заштитни ѕидови го потврдуваат роботот преку IP-опсезите што ги објавува неговиот производител, па вистински
OAI-SearchBotможе да помине кога вашето барање е одбиено, или обратно. Користете ја за да најдете правила што реагираат на корисничкиот агент, а потоа проверете ги објавените IP-списоци на производителите. - Не извршува JavaScript, намерно: го покажува HTML што би го видел робот што не рендерира.
- Чист резултат не е препорака. Да бидете читливи не е исто што и да бидете цитирани.
Што гледаме на вистинските сајтови?
AISeeWhy прави ваква проверка за 14 роботи. Од 165 деловни сајтови во САД, Велика Британија и Франција што можевме да ги тестираме, 38% (63 сајта) одбија барем еден AI-робот на ниво на серверот, додека прелистувач од истата адреса ја доби страницата. Секој од тие сајтови одби барем еден робот за обука или за прибирање податоци, а 10% (16 сајта) одбија и барем еден AI-робот за пребарување, како PerplexityBot (11 сајта) или OAI-SearchBot (5).
Сајтовите не се случаен примерок, а уште 53 не можеа да се тестираат бидејќи дури и обично барање од прелистувач беше одбиено или остана без одговор. Сфатете го како образец вреден за проверка на вашиот сајт, а не како попис.
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- IP проверка на AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали е безбедно да се извршува на кој било сајт?
Извршете ја само на сајтови што ги поседувате или што смеете да ги тестирате. Испраќа барања со кориснички агенти на роботи, што некои одбрани од ботови ги сметаат за непријателски.
Зошто GPTBot покажува ok кога robots.txt му забранува?
robots.txt е барање, а не клуч. Серверот одговара на секого што го игнорира, па колоната HTTP вели ok. Правилото покрај неа покажува што го почитува добро однесуван робот.
Дали скриптата извршува JavaScript?
Не, намерно. Го покажува HTML што го добива робот што не рендерира страници. Знакот --expect ви кажува дали вашиот главен текст е веќе во тој HTML.
Дали чист резултат значи дека ChatGPT ќе ја цитира мојата страница?
Не. Пристапот е потребен, но не и доволен. За да видите дали асистент го именува вашиот сајт, поставете му ги прашањата што ги поставуваат вашите купувачи и забележете кои сајтови ги цитира.
Извори
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)