Co roboty AI naprawdę dostają z Twojej strony? Skrypt w 66 liniach

Opublikowano

Krótka odpowiedź

Pobierz stronę jako przeglądarka i jako każdy robot AI, a potem porównaj wyniki. Kod 403, 429 albo strona weryfikacji tylko dla robota, a także odpowiedź 200 znacznie mniejsza niż strona dla przeglądarki oznaczają, że zapora odrzuca robota, nawet jeśli robots.txt na to pozwala. Skrypt w Node na 66 liniach robi to dla siedmiu robotów i czyta robots.txt według reguł RFC 9309.

robots.txt mówi robotowi, co wolno mu pobierać. Nie mówi nic o tym, co zapora lub CDN faktycznie odsyłają. Ten wpis daje krótki skrypt, który pokazuje jedno i drugie obok siebie, więc widać, gdzie się rozchodzą.

Na tej stronie
  1. Dlaczego robots.txt nie mówi, co dostaje robot?
  2. Skrypt
  3. Jak go uruchomić?
  4. Jak wygląda wynik?
  5. Jak czytać tabelę?
  6. Czego skrypt nie powie?
  7. Co widzimy w prawdziwych serwisach?

Dlaczego robots.txt nie mówi, co dostaje robot?

robots.txt jest prośbą. To zapora, CDN lub reguła ochrony przed botami decyduje, co naprawdę zostanie odesłane. Może odpowiedzieć OAI-SearchBot lub PerplexityBot kodem 403, 429 albo stroną „Just a moment...”, podczas gdy Twoje wejścia z przeglądarki wyglądają zupełnie normalnie.

Wystarczy pobrać ten sam adres jako przeglądarka i jako robot, a potem porównać wyniki. Kod 403, 429 lub 503 tylko dla robota, strona z tytułem Just a moment... albo odpowiedź 200 znacznie mniejsza niż ta dla przeglądarki wskazują na zaporę.

Skrypt

Zapisz go jako ai-crawler-view.mjs. Wymaga Node 18 lub nowszego i żadnych pakietów. Czyta robots.txt raz, pobiera Twoją stronę jako przeglądarka, a potem jako siedem robotów AI: OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot i Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic nie publikuje pełnych ciągów user agent, więc dwie linie dla Claude używają tylko nazwy robota. Zapora, która dopasowuje nazwę, zareaguje tak samo.

Jak go uruchomić?

Uruchom go na jednej ze stron własnego serwisu. Opcjonalna flaga --expect sprawdza, czy zdanie z Twojej głównej treści występuje w surowym HTML, który dostaje każdy robot. Jeśli go brakuje, tekst dodają skrypty po załadowaniu strony, a wiele robotów go nie zobaczy.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

Uruchamiaj go tylko na serwisach, które są Twoje lub które wolno Ci testować. Wysyła dziewięć żądań: robots.txt, przeglądarka i po jednym na każdego robota.

Jak wygląda wynik?

Oto wynik dla celowo wrogiego lokalnego serwera testowego, który stawia wyzwanie OAI-SearchBot, ogranicza tempo ClaudeBot, wydaje PerplexityBot pustą powłokę i zabrania GPTBot w robots.txt:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

Na aiseewhy.com każdy robot dostaje pełną stronę, z takim samym statusem i rozmiarem jak przeglądarka.

Jak czytać tabelę?

Czego skrypt nie powie?

Co widzimy w prawdziwych serwisach?

AISeeWhy wykonuje takie sprawdzenie dla 14 robotów. Wśród 165 serwisów firm z USA, Wielkiej Brytanii i Francji, które mogliśmy przetestować, 38% (63 serwisy) odrzucało na serwerze co najmniej jednego robota AI, podczas gdy przeglądarka z tego samego adresu dostawała stronę. Każdy z tych serwisów odrzucał co najmniej jednego robota treningowego lub scrapera, a 10% (16 serwisów) odrzucało też co najmniej jednego robota wyszukiwarki AI, takiego jak PerplexityBot (11 serwisów) lub OAI-SearchBot (5).

Serwisy nie są losową próbą, a kolejnych 53 nie dało się przetestować, bo odrzucały nawet zwykłe żądanie z przeglądarki albo nie odpowiadały. Potraktuj to jako schemat wart sprawdzenia u siebie, a nie spis powszechny.

Darmowe narzędzia

Następne kroki

Crawlery w tym artykule

Najczęstsze pytania

Czy bezpiecznie uruchamiać to na dowolnym serwisie?

Uruchamiaj go tylko na serwisach, które są Twoje lub które wolno Ci testować. Wysyła żądania z user agentami robotów, które część zabezpieczeń przed botami traktuje jako wrogie.

Dlaczego GPTBot ma ok, skoro robots.txt mu zabrania?

robots.txt jest prośbą, a nie zamkiem. Serwer odpowiada każdemu, kto ją ignoruje, więc kolumna HTTP pokazuje ok. Reguła obok pokazuje, czego przestrzega dobrze zachowujący się robot.

Czy skrypt uruchamia JavaScript?

Nie, celowo. Pokazuje HTML, który dostaje robot niewyświetlający stron. Flaga --expect mówi, czy Twój główny tekst jest już w tym HTML.

Czy czysty wynik oznacza, że ChatGPT zacytuje moją stronę?

Nie. Dostęp jest konieczny, ale niewystarczający. Żeby sprawdzić, czy asystent wymienia Twój serwis, zadaj mu pytania, które zadają Twoi klienci, i zanotuj, jakie serwisy cytuje.

Źródła

Więcej artykułów