Що насправді отримують AI-краулери від вашого сайту? Скрипт на 66 рядків
Запросіть свою сторінку як браузер і як кожен AI-краулер, а потім порівняйте відповіді. Якщо лише краулер отримує 403, 429 або сторінку-челендж, або якщо відповідь 200 набагато менша за сторінку для браузера, значить, фаєрвол відмовляє краулеру, навіть коли robots.txt це дозволяє. Скрипт Node на 66 рядків перевіряє сім краулерів і читає robots.txt за правилами RFC 9309.
robots.txt повідомляє краулеру, що він може завантажувати. Але він нічого не каже про те, що ваш фаєрвол або CDN насправді віддає у відповідь. Цей пост пропонує короткий скрипт, який показує обидві речі поруч, щоб ви побачили, де вони розходяться.
На цій сторінці
Чому robots.txt не показує, що отримує краулер?
robots.txt — це лише прохання. Те, що насправді буде надіслано, вирішує фаєрвол, CDN або правило захисту від ботів. Воно може відповісти OAI-SearchBot чи PerplexityBot кодом 403, 429 або сторінкою «Just a moment...», тоді як ваші власні візити з браузера виглядають цілком нормально.
Перевірка проста: запросіть той самий URL як браузер і як краулер та порівняйте результати. 403, 429 або 503 лише для краулера, сторінка із заголовком Just a moment... або відповідь 200, значно менша за ту, що отримує браузер, — усе це вказує на фаєрвол.
Скрипт
Збережіть його як ai-crawler-view.mjs. Потрібен Node 18 або новіший, жодних пакетів. Скрипт один раз читає robots.txt, завантажує вашу сторінку як браузер, а потім як сім AI-краулерів: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot і Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic не публікує повні рядки user agent, тому для двох краулерів Claude використано лише токен краулера. Фаєрвол, який реагує на токен, поведеться так само.
Як його запустити?
Запустіть його на сторінці власного сайту. Необов'язковий прапорець --expect перевіряє, чи є речення з вашого основного контенту в сирому HTML, який отримує кожен краулер. Якщо його немає, текст додають скрипти вже після завантаження, і багато краулерів його не побачать.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Запускайте його лише на сайтах, які належать вам або які вам дозволено тестувати. Він надсилає дев'ять запитів: robots.txt, браузер і по одному на кожен краулер.
Як виглядає результат?
Ось результат для навмисно ворожого локального тестового сервера, який видає челендж для OAI-SearchBot, обмежує швидкість для ClaudeBot, віддає PerplexityBot порожню оболонку і забороняє GPTBot у robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok На aiseewhy.com кожен краулер отримує повну сторінку з тим самим статусом і розміром, що й браузер.
Як читати таблицю?
- Стовпець robots.txt показує дозвіл, який ви дали: правило, що застосовується до цього краулера за RFC 9309. Це група, де названо краулера, інакше
*, потім найдовше правило, що збіглося, а при рівності перемагаєAllow. - Стовпці HTTP і bytes показують, що зробив сервер.
GPTBotмає 200, бо сервер відповідає кожному, хто ігнорує robots.txt; правило поруч — це те, чого дотримується добросовісний краулер. - Небезпечні рядки — протилежні:
allow: /поруч ізBLOCKEDабоTHIN. Це сайт, який говорить «так», а відповідає «ні».
Чого скрипт не може показати?
- Він перевіряє user agent з вашої власної IP-адреси, а не справжніх краулерів. Багато фаєрволів підтверджують краулера за діапазонами IP, які публікує його власник, тож справжній
OAI-SearchBotможе пройти, коли ваш запит відхилено, або навпаки. Скористайтеся скриптом, щоб знайти правила, які реагують на user agent, а потім звірте опубліковані вендорами списки IP. - Він навмисно не виконує JavaScript: показує HTML, який побачив би краулер, що не рендерить сторінки.
- Чистий результат — це не рекомендація. Бути доступним для читання не означає бути процитованим.
Що ми бачимо на реальних сайтах?
AISeeWhy виконує таку перевірку для 14 краулерів. Серед 165 бізнес-сайтів у США, Великій Британії та Франції, які нам вдалося перевірити, 38% (63 сайти) відмовляли принаймні одному AI-краулеру на рівні сервера, тоді як браузер з тієї самої адреси отримував сторінку. Кожен із цих сайтів відмовляв принаймні одному боту для навчання чи скрапінгу, а 10% (16 сайтів) також відмовляли принаймні одному AI-пошуковому краулеру, наприклад PerplexityBot (11 сайтів) або OAI-SearchBot (5).
Ці сайти не є випадковою вибіркою, а ще 53 перевірити не вдалося, бо навіть звичайний запит із браузера було відхилено або залишено без відповіді. Сприймайте це як закономірність, яку варто перевірити на власному сайті, а не як перепис.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка IP ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Чи безпечно запускати це на будь-якому сайті?
Запускайте лише на сайтах, які належать вам або які вам дозволено тестувати. Скрипт надсилає запити з user agent краулерів, і деякі системи захисту від ботів вважають це ворожими діями.
Чому GPTBot показує ok, хоча robots.txt його забороняє?
robots.txt — це прохання, а не замок. Сервер відповідає кожному, хто його ігнорує, тому стовпець HTTP показує ok. Правило поруч показує, чого дотримується добросовісний краулер.
Чи виконує скрипт JavaScript?
Ні, навмисно. Він показує HTML, який отримує краулер, що не рендерить сторінки. Прапорець --expect підказує, чи є ваш основний текст уже в цьому HTML.
Чи означає чистий результат, що ChatGPT цитуватиме мою сторінку?
Ні. Доступ потрібен, але його недостатньо. Щоб побачити, чи називає асистент ваш сайт, поставте йому запитання, які ставлять ваші покупці, і запишіть, які сайти він цитує.
Джерела
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Огляд краулерів OpenAI
- Anthropic: Чи сканує Anthropic дані з вебу і як власники сайтів можуть заблокувати краулер?
- Perplexity: Краулери Perplexity
- Cloudflare: Керування AI-краулерами (AI Crawl Control)