AI 크롤러는 내 사이트에서 실제로 무엇을 받을까요? 66줄 스크립트

게시일

핵심 답변

브라우저와 각 AI 크롤러로 페이지를 요청한 뒤 결과를 비교하세요. 크롤러에만 403, 429 또는 챌린지 페이지가 나타나거나, 200이지만 브라우저가 받는 페이지보다 크기가 훨씬 작다면, robots.txt가 허용하더라도 방화벽이 크롤러를 거부하고 있다는 뜻입니다. 66줄짜리 Node 스크립트가 크롤러 7종에 대해 이를 확인하고, RFC 9309 규칙에 따라 robots.txt를 해석합니다.

robots.txt는 크롤러가 무엇을 가져가도 되는지 알려 줍니다. 하지만 방화벽이나 CDN이 실제로 무엇을 돌려보내는지는 알려 주지 않습니다. 이 글에서는 두 가지를 나란히 보여 주는 짧은 스크립트를 소개하며, 둘이 어디에서 어긋나는지 확인할 수 있습니다.

이 글의 목차
  1. robots.txt만으로는 크롤러가 받는 응답을 알 수 없는 이유는 무엇인가요?
  2. 스크립트
  3. 어떻게 실행하나요?
  4. 출력은 어떤 모습인가요?
  5. 표는 어떻게 읽나요?
  6. 스크립트로 알 수 없는 것은 무엇인가요?
  7. 실제 웹사이트에서는 어떤 결과가 나오나요?

robots.txt만으로는 크롤러가 받는 응답을 알 수 없는 이유는 무엇인가요?

robots.txt는 요청일 뿐입니다. 실제로 무엇을 돌려보낼지는 방화벽, CDN, 봇 차단 규칙이 결정합니다. 이들은 OAI-SearchBot이나 PerplexityBot에 403, 429 또는 "Just a moment..." 페이지를 응답할 수 있으며, 직접 브라우저로 접속하면 모든 것이 정상으로 보입니다.

확인 방법은 같은 URL을 브라우저와 크롤러로 각각 요청해 비교하는 것입니다. 크롤러에만 403, 429, 503이 나타나거나, 제목이 Just a moment...인 페이지가 오거나, 200 응답이지만 브라우저가 받는 페이지보다 훨씬 작다면 모두 방화벽이 원인이라는 신호입니다.

스크립트

ai-crawler-view.mjs라는 이름으로 저장하세요. Node 18 이상이 필요하며 별도 패키지는 필요 없습니다. 먼저 robots.txt를 한 번 읽은 다음, 브라우저로 페이지를 가져오고, 이어서 AI 크롤러 7종으로 가져옵니다. 대상은 OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, ClaudeBot, PerplexityBot, Perplexity-User입니다.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic은 전체 user agent 문자열을 공개하지 않으므로, Claude 관련 두 줄은 크롤러 토큰만 사용합니다. 토큰을 기준으로 판단하는 방화벽이라면 똑같이 반응합니다.

어떻게 실행하나요?

본인 사이트의 페이지를 대상으로 실행하세요. 선택 옵션인 --expect 플래그는 본문의 문장 하나가 각 크롤러가 받는 원본 HTML에 들어 있는지 확인합니다. 그 문장이 없다면 스크립트가 로딩 후에 텍스트를 추가하는 구조이며, 많은 크롤러는 이 텍스트를 보지 못합니다.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

직접 소유했거나 테스트가 허용된 사이트에서만 실행하세요. robots.txt, 브라우저, 크롤러별 요청을 합쳐 총 9건의 요청을 보냅니다.

출력은 어떤 모습인가요?

다음은 일부러 적대적으로 만든 로컬 테스트 서버에 실행한 결과입니다. 이 서버는 OAI-SearchBot에 챌린지를 걸고, ClaudeBot에 요청 제한을 적용하고, PerplexityBot에는 빈 껍데기 페이지를 내보내며, robots.txt에서 GPTBot을 허용하지 않습니다.

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

aiseewhy.com에서는 모든 크롤러가 브라우저와 같은 상태와 크기의 전체 페이지를 받습니다.

표는 어떻게 읽나요?

스크립트로 알 수 없는 것은 무엇인가요?

실제 웹사이트에서는 어떤 결과가 나오나요?

AISeeWhy는 14종의 크롤러에 대해 이런 점검을 수행합니다. 테스트할 수 있었던 미국, 영국, 프랑스의 기업 웹사이트 165곳 중 38%(63곳)가 같은 주소의 브라우저에는 페이지를 주면서도 서버에서 AI 크롤러를 하나 이상 차단했습니다. 이 사이트들은 모두 학습용 또는 스크래퍼 봇을 하나 이상 거부했고, 10%(16곳)는 AI 검색 크롤러도 하나 이상 거부했습니다. 예를 들면 PerplexityBot(11곳)이나 OAI-SearchBot(5곳)입니다.

이 사이트들은 무작위 표본이 아니며, 일반 브라우저 요청조차 거부되거나 응답이 없어 테스트하지 못한 사이트가 53곳 더 있습니다. 전수 조사가 아니라, 본인 사이트에서 확인해 볼 만한 패턴으로 받아들이시기 바랍니다.

무료 도구

다음 단계

이 글에 나오는 크롤러

자주 묻는 질문

어느 사이트에나 실행해도 안전한가요?

직접 소유했거나 테스트가 허용된 사이트에서만 실행하세요. 크롤러 user agent로 요청을 보내는데, 일부 봇 방어 시스템은 이를 적대적인 행위로 간주합니다.

robots.txt가 허용하지 않는데도 GPTBot이 ok로 표시되는 이유는 무엇인가요?

robots.txt는 요청일 뿐 자물쇠가 아닙니다. 서버는 이를 무시하는 요청에도 응답하므로 HTTP 열에는 ok가 표시됩니다. 옆에 표시된 규칙은 규칙을 지키는 크롤러가 따르는 내용입니다.

스크립트는 JavaScript를 실행하나요?

아니요, 일부러 실행하지 않습니다. 페이지를 렌더링하지 않는 크롤러가 받는 HTML을 보여 주기 위해서입니다. --expect 플래그를 사용하면 본문 텍스트가 이미 그 HTML에 들어 있는지 알 수 있습니다.

결과가 깨끗하면 ChatGPT가 내 페이지를 인용하나요?

아니요. 접근은 필요조건이지 충분조건이 아닙니다. 어시스턴트가 내 사이트를 언급하는지 확인하려면 구매자가 하는 질문을 그대로 던져 보고 어떤 사이트를 인용하는지 기록하세요.

참고 자료

다른 글