AIクローラーは実際にサイトから何を受け取っているのか。66行のスクリプトで確認
ブラウザと各AIクローラーとして同じページをリクエストし、結果を比べます。クローラーにだけ403、429、チャレンジページが返る場合や、ブラウザのページよりかなり小さい200が返る場合は、robots.txtが許可していてもファイアウォールが拒否しています。66行のNodeスクリプトで、7つのクローラーについてこれを確認し、RFC 9309のルールでrobots.txtを読み取ります。
robots.txtは、クローラーが取得してよいものを伝えるファイルです。ファイアウォールやCDNが実際に何を返すかは、このファイルからは分かりません。この記事では両方を並べて表示する短いスクリプトを紹介します。両者がどこで食い違っているかを確認できます。
このページの内容
robots.txtを見てもクローラーが受け取る内容が分からないのはなぜですか?
robots.txtは依頼にすぎません。実際に何を返すかを決めるのは、ファイアウォール、CDN、ボット対策のルールです。自分のブラウザでは問題なく表示されていても、OAI-SearchBotやPerplexityBotには403、429、あるいは「Just a moment...」というページを返すことがあります。
確認方法は、同じURLをブラウザとクローラーの両方としてリクエストし、結果を比べることです。クローラーにだけ403、429、503が返る、タイトルがJust a moment...のページが返る、ブラウザよりかなり小さい200応答が返る、といった場合はファイアウォールが原因です。
スクリプト
ai-crawler-view.mjsという名前で保存してください。Node 18以降が必要で、パッケージは不要です。robots.txtを一度読み込み、ブラウザとしてページを取得し、続いて7つのAIクローラー(OAI-SearchBot、ChatGPT-User、GPTBot、Claude-SearchBot、ClaudeBot、PerplexityBot、Perplexity-User)として取得します。
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropicは完全なユーザーエージェント文字列を公開していないため、Claudeの2行ではクローラートークンだけを使っています。トークンで判定するファイアウォールなら、同じように反応します。
どのように実行しますか?
ご自身のサイトのページに対して実行してください。任意の--expectフラグを使うと、各クローラーが受け取る生のHTMLにメインコンテンツの一文が含まれているかを確認できます。含まれていない場合は、読み込み後にスクリプトがテキストを追加しており、多くのクローラーはそれを見られません。
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" 自分が所有するサイト、またはテストを許可されているサイトでのみ実行してください。送信するリクエストは9件で、robots.txt、ブラウザ、各クローラーに1件ずつです。
出力はどのように見えますか?
以下は、意図的に厳しい設定にしたローカルのテストサーバーに対する結果です。このサーバーはOAI-SearchBotにチャレンジを返し、ClaudeBotをレート制限し、PerplexityBotには空のシェルを返し、robots.txtでGPTBotを禁止しています。
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok aiseewhy.comでは、すべてのクローラーがブラウザと同じステータスとサイズで完全なページを受け取ります。
表はどう読めばよいですか?
- robots.txtの列は、サイトが与えている許可です。RFC 9309に基づき、そのクローラーに適用されるルールを示します。クローラー名を指定したグループがあればそれを、なければ
*を使い、最も長く一致するルールを採用し、同じ長さならAllowが優先されます。 - HTTPとbytesの列は、サーバーが実際に行った動作です。
GPTBotが200になっているのは、robots.txtを無視する相手にもサーバーが応答するためです。その横のルールが、きちんと従うクローラーが守る内容です。 - 危険なのは逆のパターンです。
allow: /の横にBLOCKEDやTHINが並ぶ行は、サイトが「許可」と言いながら実際には「拒否」している状態です。
このスクリプトで分からないことは何ですか?
- テストしているのは、実際のクローラーではなく、自分のIPアドレスからのユーザーエージェントです。多くのファイアウォールは、ベンダーが公開するIPレンジでクローラーを確認します。そのため、リクエストが拒否される場合でも本物の
OAI-SearchBotは通されることがあり、その逆もあります。ユーザーエージェントに反応するルールを見つけるために使い、そのうえでベンダーが公開するIPリストを確認してください。 - JavaScriptは意図的に実行しません。レンダリングしないクローラーが見るHTMLを表示するためです。
- 問題がなくても、それは推奨を意味しません。読み取れることと、引用されることは別です。
実際のウェブサイトでは何が見えていますか?
AISeeWhyは、この種のチェックを14のクローラーについて実行しています。テストできた米国、英国、フランスの企業サイト165件のうち、38%(63サイト)が、同じアドレスからのブラウザにはページを返しながら、少なくとも1つのAIクローラーをサーバー側で拒否していました。そのすべてのサイトが、学習用またはスクレイパー系のボットを少なくとも1つ拒否しており、10%(16サイト)はPerplexityBot(11サイト)やOAI-SearchBot(5サイト)などのAI検索クローラーも少なくとも1つ拒否していました。
これらのサイトは無作為抽出ではなく、さらに53サイトは、通常のブラウザのリクエストですら拒否または無応答だったためテストできませんでした。全数調査ではなく、ご自身のサイトで確認する価値のある傾向として受け止めてください。
次のステップ
この記事に登場するクローラー
よくある質問
どのサイトに対して実行しても安全ですか?
自分が所有するサイト、またはテストを許可されているサイトに対してのみ実行してください。クローラーのユーザーエージェントでリクエストを送るため、ボット対策によっては攻撃的な動作とみなされることがあります。
robots.txtがGPTBotを禁止しているのに、なぜokと表示されるのですか?
robots.txtは依頼であり、鍵ではありません。サーバーはこれを無視する相手にも応答するため、HTTPの列はokになります。その横のルールが、きちんと従うクローラーが守る内容を示しています。
スクリプトはJavaScriptを実行しますか?
いいえ、意図的に実行しません。ページをレンダリングしないクローラーが受け取るHTMLを表示します。--expectフラグを使うと、メインのテキストがそのHTMLにすでに含まれているかが分かります。
問題がなければ、ChatGPTは私のページを引用しますか?
いいえ。アクセスできることは必要条件ですが、十分条件ではありません。アシスタントが自分のサイトを挙げるかを確かめるには、購入者が尋ねる質問を実際にアシスタントに投げ、どのサイトが引用されるかを記録してください。
参考資料
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)