Что на самом деле получают AI-краулеры с вашего сайта? Скрипт на 66 строк
Запросите страницу как браузер и как каждый AI-краулер, затем сравните ответы. Если только краулеру приходит 403, 429 или страница-проверка, либо ответ 200 намного меньше, чем страница для браузера, значит, файрвол его не пускает, даже когда robots.txt разрешает доступ. Скрипт на Node в 66 строк проверяет семь краулеров и читает robots.txt по правилам RFC 9309.
robots.txt говорит краулеру, что ему можно загружать. Но он ничего не сообщает о том, что на самом деле отдают ваш файрвол или CDN. В этой статье вы найдёте короткий скрипт, который показывает и то и другое рядом, чтобы вы увидели, где они расходятся.
На этой странице
Почему robots.txt не показывает, что получает краулер?
robots.txt — это просьба. Что на самом деле будет отдано, решает файрвол, CDN или правило защиты от ботов. Они могут ответить OAI-SearchBot или PerplexityBot кодом 403, 429 или страницей «Just a moment...», а при ваших собственных заходах из браузера всё выглядит нормально.
Проверка проста: запросите один и тот же URL как браузер и как краулер и сравните ответы. Если 403, 429 или 503 приходит только краулеру, если вместо страницы приходит заголовок Just a moment... или если ответ 200 намного меньше, чем у браузера, причина в файрволе.
Скрипт
Сохраните его как ai-crawler-view.mjs. Нужен Node 18 или новее, пакеты не требуются. Скрипт один раз читает robots.txt, затем загружает вашу страницу как браузер, а потом как семь AI-краулеров: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot и Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic не публикует полные строки user agent, поэтому в двух строках для Claude используется только токен краулера. Файрвол, который срабатывает по токену, отреагирует так же.
Как его запустить?
Запустите скрипт на странице вашего собственного сайта. Необязательный флаг --expect проверяет, есть ли фраза из основного содержимого в исходном HTML, который получает каждый краулер. Если её нет, значит, текст добавляют скрипты после загрузки, а многие краулеры его не увидят.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" Запускайте его только на сайтах, которые принадлежат вам или которые вам разрешено проверять. Скрипт отправляет девять запросов: robots.txt, браузер и по одному на каждого краулера.
Как выглядит результат?
Вот результат на намеренно «враждебном» локальном тестовом сервере: он выдаёт проверку для OAI-SearchBot, ограничивает частоту запросов от ClaudeBot, отдаёт PerplexityBot пустую оболочку страницы и запрещает GPTBot в robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok На aiseewhy.com каждый краулер получает полную страницу с тем же статусом и размером, что и браузер.
Как читать таблицу?
- Столбец robots.txt показывает разрешение, которое вы дали: правило, действующее для этого краулера по RFC 9309. Это группа, где назван краулер, а если её нет, то
*; затем берётся самое длинное подходящее правило, а при равенстве побеждаетAllow. - Столбцы HTTP и bytes показывают, что сделал сервер. У
GPTBotстоит 200, потому что сервер отвечает всем, кто игнорирует robots.txt. Правило рядом показывает то, чему подчиняется добросовестный краулер. - Опасны строки с обратной ситуацией:
allow: /рядом сBLOCKEDилиTHIN. Это сайт, который на словах говорит «да», а на деле отвечает «нет».
Чего скрипт не покажет?
- Он проверяет user agent с вашего собственного IP-адреса, а не настоящих краулеров. Многие файрволы проверяют краулер по диапазонам IP-адресов, которые публикует его владелец. Поэтому настоящий
OAI-SearchBotмогут пропустить, когда ваш запрос отклонён, или наоборот. Используйте скрипт, чтобы найти правила, реагирующие на user agent, а затем сверьтесь с опубликованными вендорами списками IP. - Он намеренно не выполняет JavaScript: так вы видите HTML, который получит краулер без рендеринга.
- Чистый результат не гарантирует рекомендации. Доступность для чтения не равна цитированию.
Что мы видим на реальных сайтах?
AISeeWhy выполняет такую проверку для 14 краулеров. Среди 165 бизнес-сайтов в США, Великобритании и Франции, которые удалось проверить, 38% (63 сайта) отклоняли на уровне сервера хотя бы одного AI-краулера, тогда как браузер с того же адреса получал страницу. Каждый из этих сайтов отказывал хотя бы одному боту для обучения или сбора данных, а 10% (16 сайтов) отказывали ещё и хотя бы одному AI-поисковому краулеру, например PerplexityBot (11 сайтов) или OAI-SearchBot (5).
Эти сайты не образуют случайную выборку, а ещё 53 сайта проверить не удалось, потому что даже обычный запрос из браузера был отклонён или остался без ответа. Считайте это закономерностью, которую стоит проверить на своём сайте, а не переписью.
Что дальше
- Тестер и проверка robots.txt для AI-краулеров
- Проверка IP AI-краулеров
- Посмотреть пример полного отчёта
- Мониторинг AI-краулеров
- Тарифы и цены
Краулеры в этой статье
Частые вопросы
Безопасно ли запускать это на любом сайте?
Запускайте скрипт только на сайтах, которые принадлежат вам или которые вам разрешено проверять. Он отправляет запросы с user agent краулеров, а некоторые системы защиты от ботов считают такие запросы враждебными.
Почему у GPTBot стоит ok, если robots.txt его запрещает?
robots.txt — это просьба, а не замок. Сервер отвечает всем, кто её игнорирует, поэтому в столбце HTTP стоит ok. Правило рядом показывает, чему подчиняется добросовестный краулер.
Выполняет ли скрипт JavaScript?
Нет, и это сделано намеренно. Он показывает HTML, который получает краулер, не выполняющий рендеринг страниц. Флаг --expect подскажет, есть ли ваш основной текст уже в этом HTML.
Значит ли чистый результат, что ChatGPT процитирует мою страницу?
Нет. Доступ необходим, но недостаточен. Чтобы узнать, называет ли ассистент ваш сайт, задайте ему вопросы, которые задают ваши покупатели, и посмотрите, какие сайты он цитирует.
Источники
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)