Какво всъщност получават AI краулърите от сайта ви? Скрипт от 66 реда
Заявете страницата си като браузър и като всеки AI краулър, после сравнете. Ако само краулърът получава 403, 429 или challenge страница, или 200 отговор, много по-малък от страницата за браузъра, значи защитната стена го отказва, дори когато robots.txt го допуска. Скрипт на Node от 66 реда прави това за седем краулъра и чете robots.txt по правилата на RFC 9309.
robots.txt казва на краулъра какво може да изтегли. Той не казва нищо за това, какво реално връща защитната ви стена или CDN. Тази публикация ви дава кратък скрипт, който показва двете неща едно до друго, за да видите къде си противоречат.
На тази страница
Защо robots.txt не показва какво получава краулърът?
robots.txt е молба. Какво ще бъде върнато всъщност, решава защитна стена, CDN или правило за защита от ботове. Тя може да отговори на OAI-SearchBot или PerplexityBot с 403, 429 или страница „Just a moment...“, докато вашите собствени посещения с браузър изглеждат съвсем нормално.
Проверката е да заявите един и същ адрес като браузър и като краулъра и да сравните. 403, 429 или 503 само за краулъра, страница със заглавие Just a moment... или отговор 200, много по-малък от този за браузъра, сочат към защитната стена.
Скриптът
Запишете го като ai-crawler-view.mjs. Изисква Node 18 или по-нов и не се нуждае от пакети. Чете robots.txt веднъж, изтегля страницата ви като браузър, а после като седем AI краулъра: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot и Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic не публикува пълните низове на user agent, затова двата реда за Claude използват само токена на краулъра. Защитна стена, която разпознава токена, реагира по същия начин.
Как да го стартирам?
Пуснете го срещу страница от вашия сайт. Незадължителният флаг --expect проверява дали изречение от основното ви съдържание присъства в суровия HTML, който получава всеки краулър. Ако липсва, скриптове добавят текста след зареждането и много краулъри няма да го видят.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Пускайте го само за сайтове, които притежавате или които имате право да тествате. Той изпраща девет заявки: robots.txt, браузъра и по една за всеки краулър.
Как изглежда резултатът?
Това е резултатът срещу умишлено враждебен локален тестов сървър, който предизвиква challenge за OAI-SearchBot, ограничава честотата за ClaudeBot, дава на PerplexityBot празна обвивка и забранява GPTBot в robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok В aiseewhy.com всеки краулър получава цялата страница със същия статус и размер като браузъра.
Как да чета таблицата?
- Колоната robots.txt показва разрешението, което сте дали: правилото, което важи за този краулър по RFC 9309, тоест групата с името на краулъра, иначе
*, после най-дългото съвпадащо правило, катоAllowпечели при равенство. - Колоните HTTP и bytes показват какво е направил сървърът.
GPTBotима 200, защото сървърът отговаря на всеки, който игнорира robots.txt; правилото до него е това, което спазва добронамерен краулър. - Опасни са обратните редове:
allow: /доBLOCKEDилиTHIN. Това е сайт, който казва „да“, а отговаря „не“.
Какво скриптът не може да ви каже?
- Той тества user agent низове от вашия собствен IP адрес, а не истинските краулъри. Много защитни стени проверяват краулъра по IP диапазоните, публикувани от неговия доставчик, така че истински
OAI-SearchBotможе да бъде пуснат, докато вашата заявка е отказана, или обратното. Използвайте скрипта, за да откриете правила, реагиращи на user agent, а после проверете публикуваните от доставчиците списъци с IP адреси. - Той не изпълнява JavaScript, и това е умишлено: показва HTML, който би видял краулър без рендиране.
- Чистият резултат не е препоръка. Да бъдеш четим не е същото като да бъдеш цитиран.
Какво виждаме в реалните уебсайтове?
AISeeWhy прави такава проверка за 14 краулъра. От 165 бизнес сайта в САЩ, Великобритания и Франция, които успяхме да тестваме, 38% (63 сайта) отказват поне един AI краулър на ниво сървър, докато браузър от същия адрес получава страницата. Всеки от тези сайтове отказва поне един краулър за обучение или скрепинг, а 10% (16 сайта) отказват и поне един AI краулър за търсене, например PerplexityBot (11 сайта) или OAI-SearchBot (5).
Сайтовете не са случайна извадка, а още 53 не можаха да бъдат тествани, защото дори обикновена заявка от браузър беше отказана или остана без отговор. Приемете това като модел, който си струва да проверите на своя сайт, а не като преброяване.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Безопасно ли е да го пускам срещу произволен сайт?
Пускайте го само за сайтове, които притежавате или които имате право да тествате. Той изпраща заявки с user agent на краулъри, които някои системи за защита от ботове смятат за враждебни.
Защо GPTBot показва ok, когато robots.txt го забранява?
robots.txt е молба, а не ключалка. Сървърът отговаря на всеки, който я игнорира, затова колоната HTTP показва ok. Правилото до нея показва какво спазва добронамерен краулър.
Изпълнява ли скриптът JavaScript?
Не, и това е умишлено. Той показва HTML, който получава краулър, който не рендира страници. Флагът --expect ви казва дали основният ви текст вече е в този HTML.
Означава ли чистият резултат, че ChatGPT ще цитира страницата ми?
Не. Достъпът е необходим, но не е достатъчен. За да видите дали асистент назовава сайта ви, задайте му въпросите, които задават вашите купувачи, и отбележете кои сайтове цитира.
Източници
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)