Что на самом деле получают AI-краулеры с вашего сайта? Скрипт на 66 строк

Опубликовано

Короткий ответ

Запросите страницу как браузер и как каждый AI-краулер, затем сравните ответы. Если только краулеру приходит 403, 429 или страница-проверка, либо ответ 200 намного меньше, чем страница для браузера, значит, файрвол его не пускает, даже когда robots.txt разрешает доступ. Скрипт на Node в 66 строк проверяет семь краулеров и читает robots.txt по правилам RFC 9309.

robots.txt говорит краулеру, что ему можно загружать. Но он ничего не сообщает о том, что на самом деле отдают ваш файрвол или CDN. В этой статье вы найдёте короткий скрипт, который показывает и то и другое рядом, чтобы вы увидели, где они расходятся.

На этой странице
  1. Почему robots.txt не показывает, что получает краулер?
  2. Скрипт
  3. Как его запустить?
  4. Как выглядит результат?
  5. Как читать таблицу?
  6. Чего скрипт не покажет?
  7. Что мы видим на реальных сайтах?

Почему robots.txt не показывает, что получает краулер?

robots.txt — это просьба. Что на самом деле будет отдано, решает файрвол, CDN или правило защиты от ботов. Они могут ответить OAI-SearchBot или PerplexityBot кодом 403, 429 или страницей «Just a moment...», а при ваших собственных заходах из браузера всё выглядит нормально.

Проверка проста: запросите один и тот же URL как браузер и как краулер и сравните ответы. Если 403, 429 или 503 приходит только краулеру, если вместо страницы приходит заголовок Just a moment... или если ответ 200 намного меньше, чем у браузера, причина в файрволе.

Скрипт

Сохраните его как ai-crawler-view.mjs. Нужен Node 18 или новее, пакеты не требуются. Скрипт один раз читает robots.txt, затем загружает вашу страницу как браузер, а потом как семь AI-краулеров: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot и Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic не публикует полные строки user agent, поэтому в двух строках для Claude используется только токен краулера. Файрвол, который срабатывает по токену, отреагирует так же.

Как его запустить?

Запустите скрипт на странице вашего собственного сайта. Необязательный флаг --expect проверяет, есть ли фраза из основного содержимого в исходном HTML, который получает каждый краулер. Если её нет, значит, текст добавляют скрипты после загрузки, а многие краулеры его не увидят.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Запускайте его только на сайтах, которые принадлежат вам или которые вам разрешено проверять. Скрипт отправляет девять запросов: robots.txt, браузер и по одному на каждого краулера.

Как выглядит результат?

Вот результат на намеренно «враждебном» локальном тестовом сервере: он выдаёт проверку для OAI-SearchBot, ограничивает частоту запросов от ClaudeBot, отдаёт PerplexityBot пустую оболочку страницы и запрещает GPTBot в robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

На aiseewhy.com каждый краулер получает полную страницу с тем же статусом и размером, что и браузер.

Как читать таблицу?

Чего скрипт не покажет?

Что мы видим на реальных сайтах?

AISeeWhy выполняет такую проверку для 14 краулеров. Среди 165 бизнес-сайтов в США, Великобритании и Франции, которые удалось проверить, 38% (63 сайта) отклоняли на уровне сервера хотя бы одного AI-краулера, тогда как браузер с того же адреса получал страницу. Каждый из этих сайтов отказывал хотя бы одному боту для обучения или сбора данных, а 10% (16 сайтов) отказывали ещё и хотя бы одному AI-поисковому краулеру, например PerplexityBot (11 сайтов) или OAI-SearchBot (5).

Эти сайты не образуют случайную выборку, а ещё 53 сайта проверить не удалось, потому что даже обычный запрос из браузера был отклонён или остался без ответа. Считайте это закономерностью, которую стоит проверить на своём сайте, а не переписью.

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Безопасно ли запускать это на любом сайте?

Запускайте скрипт только на сайтах, которые принадлежат вам или которые вам разрешено проверять. Он отправляет запросы с user agent краулеров, а некоторые системы защиты от ботов считают такие запросы враждебными.

Почему у GPTBot стоит ok, если robots.txt его запрещает?

robots.txt — это просьба, а не замок. Сервер отвечает всем, кто её игнорирует, поэтому в столбце HTTP стоит ok. Правило рядом показывает, чему подчиняется добросовестный краулер.

Выполняет ли скрипт JavaScript?

Нет, и это сделано намеренно. Он показывает HTML, который получает краулер, не выполняющий рендеринг страниц. Флаг --expect подскажет, есть ли ваш основной текст уже в этом HTML.

Значит ли чистый результат, что ChatGPT процитирует мою страницу?

Нет. Доступ необходим, но недостаточен. Чтобы узнать, называет ли ассистент ваш сайт, задайте ему вопросы, которые задают ваши покупатели, и посмотрите, какие сайты он цитирует.

Источники

Другие статьи