AIクローラーは実際にサイトから何を受け取っているのか。66行のスクリプトで確認

公開日

結論

ブラウザと各AIクローラーとして同じページをリクエストし、結果を比べます。クローラーにだけ403、429、チャレンジページが返る場合や、ブラウザのページよりかなり小さい200が返る場合は、robots.txtが許可していてもファイアウォールが拒否しています。66行のNodeスクリプトで、7つのクローラーについてこれを確認し、RFC 9309のルールでrobots.txtを読み取ります。

robots.txtは、クローラーが取得してよいものを伝えるファイルです。ファイアウォールやCDNが実際に何を返すかは、このファイルからは分かりません。この記事では両方を並べて表示する短いスクリプトを紹介します。両者がどこで食い違っているかを確認できます。

このページの内容
  1. robots.txtを見てもクローラーが受け取る内容が分からないのはなぜですか?
  2. スクリプト
  3. どのように実行しますか?
  4. 出力はどのように見えますか?
  5. 表はどう読めばよいですか?
  6. このスクリプトで分からないことは何ですか?
  7. 実際のウェブサイトでは何が見えていますか?

robots.txtを見てもクローラーが受け取る内容が分からないのはなぜですか?

robots.txtは依頼にすぎません。実際に何を返すかを決めるのは、ファイアウォール、CDN、ボット対策のルールです。自分のブラウザでは問題なく表示されていても、OAI-SearchBotやPerplexityBotには403、429、あるいは「Just a moment...」というページを返すことがあります。

確認方法は、同じURLをブラウザとクローラーの両方としてリクエストし、結果を比べることです。クローラーにだけ403、429、503が返る、タイトルがJust a moment...のページが返る、ブラウザよりかなり小さい200応答が返る、といった場合はファイアウォールが原因です。

スクリプト

ai-crawler-view.mjsという名前で保存してください。Node 18以降が必要で、パッケージは不要です。robots.txtを一度読み込み、ブラウザとしてページを取得し、続いて7つのAIクローラー(OAI-SearchBot、ChatGPT-User、GPTBot、Claude-SearchBot、ClaudeBot、PerplexityBot、Perplexity-User)として取得します。

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropicは完全なユーザーエージェント文字列を公開していないため、Claudeの2行ではクローラートークンだけを使っています。トークンで判定するファイアウォールなら、同じように反応します。

どのように実行しますか?

ご自身のサイトのページに対して実行してください。任意の--expectフラグを使うと、各クローラーが受け取る生のHTMLにメインコンテンツの一文が含まれているかを確認できます。含まれていない場合は、読み込み後にスクリプトがテキストを追加しており、多くのクローラーはそれを見られません。

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

自分が所有するサイト、またはテストを許可されているサイトでのみ実行してください。送信するリクエストは9件で、robots.txt、ブラウザ、各クローラーに1件ずつです。

出力はどのように見えますか?

以下は、意図的に厳しい設定にしたローカルのテストサーバーに対する結果です。このサーバーはOAI-SearchBotにチャレンジを返し、ClaudeBotをレート制限し、PerplexityBotには空のシェルを返し、robots.txtでGPTBotを禁止しています。

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

aiseewhy.comでは、すべてのクローラーがブラウザと同じステータスとサイズで完全なページを受け取ります。

表はどう読めばよいですか?

このスクリプトで分からないことは何ですか?

実際のウェブサイトでは何が見えていますか?

AISeeWhyは、この種のチェックを14のクローラーについて実行しています。テストできた米国、英国、フランスの企業サイト165件のうち、38%(63サイト)が、同じアドレスからのブラウザにはページを返しながら、少なくとも1つのAIクローラーをサーバー側で拒否していました。そのすべてのサイトが、学習用またはスクレイパー系のボットを少なくとも1つ拒否しており、10%(16サイト)はPerplexityBot(11サイト)やOAI-SearchBot(5サイト)などのAI検索クローラーも少なくとも1つ拒否していました。

これらのサイトは無作為抽出ではなく、さらに53サイトは、通常のブラウザのリクエストですら拒否または無応答だったためテストできませんでした。全数調査ではなく、ご自身のサイトで確認する価値のある傾向として受け止めてください。

無料ツール

次のステップ

この記事に登場するクローラー

よくある質問

どのサイトに対して実行しても安全ですか?

自分が所有するサイト、またはテストを許可されているサイトに対してのみ実行してください。クローラーのユーザーエージェントでリクエストを送るため、ボット対策によっては攻撃的な動作とみなされることがあります。

robots.txtがGPTBotを禁止しているのに、なぜokと表示されるのですか?

robots.txtは依頼であり、鍵ではありません。サーバーはこれを無視する相手にも応答するため、HTTPの列はokになります。その横のルールが、きちんと従うクローラーが守る内容を示しています。

スクリプトはJavaScriptを実行しますか?

いいえ、意図的に実行しません。ページをレンダリングしないクローラーが受け取るHTMLを表示します。--expectフラグを使うと、メインのテキストがそのHTMLにすでに含まれているかが分かります。

問題がなければ、ChatGPTは私のページを引用しますか?

いいえ。アクセスできることは必要条件ですが、十分条件ではありません。アシスタントが自分のサイトを挙げるかを確かめるには、購入者が尋ねる質問を実際にアシスタントに投げ、どのサイトが引用されるかを記録してください。

参考資料

ほかの記事