خزنده‌های هوش مصنوعی واقعاً چه چیزی از سایت شما می‌گیرند؟ یک اسکریپت 66 خطی

تاریخ انتشار

پاسخ کوتاه

صفحه‌تان را یک بار به‌عنوان مرورگر و یک بار به‌عنوان هر خزنده هوش مصنوعی درخواست کنید و نتیجه را مقایسه کنید. اگر فقط برای خزنده خطای 403 یا 429 یا یک صفحه چالش برگردد، یا پاسخ 200 بسیار کوچک‌تر از صفحه مرورگر باشد، یعنی فایروال خزنده را رد می‌کند، حتی اگر robots.txt اجازه بدهد. یک اسکریپت Node با 66 خط این کار را برای هفت خزنده انجام می‌دهد و robots.txt را طبق قواعد RFC 9309 می‌خواند.

robots.txt به خزنده می‌گوید چه چیزی را مجاز است دریافت کند، اما چیزی درباره پاسخ واقعی فایروال یا CDN شما نمی‌گوید. این نوشته یک اسکریپت کوتاه به شما می‌دهد که هر دو را کنار هم نشان می‌دهد تا ببینید کجا با هم نمی‌خوانند.

در این صفحه
  1. چرا robots.txt نشان نمی‌دهد خزنده چه چیزی دریافت می‌کند؟
  2. اسکریپت
  3. چگونه آن را اجرا کنم؟
  4. خروجی چه شکلی است؟
  5. جدول را چگونه بخوانم؟
  6. اسکریپت چه چیزهایی را نمی‌تواند نشان دهد؟
  7. در سایت‌های واقعی چه می‌بینیم؟

چرا robots.txt نشان نمی‌دهد خزنده چه چیزی دریافت می‌کند؟

robots.txt فقط یک درخواست است. فایروال، CDN یا قانون محافظت در برابر ربات تصمیم می‌گیرد واقعاً چه چیزی برگردد، و می‌تواند به OAI-SearchBot یا PerplexityBot خطای 403، خطای 429 یا صفحه «Just a moment...» بدهد، در حالی که بازدیدهای خودتان با مرورگر کاملاً عادی به نظر می‌رسند.

روش بررسی این است که همان نشانی را یک بار با مرورگر و یک بار با خزنده درخواست کنید و نتیجه را مقایسه کنید. خطای 403، 429 یا 503 فقط برای خزنده، صفحه‌ای با عنوان Just a moment...، یا پاسخ 200 که بسیار کوچک‌تر از پاسخ مرورگر است، همگی به فایروال اشاره می‌کنند.

اسکریپت

آن را با نام ai-crawler-view.mjs ذخیره کنید. به Node نسخه 18 یا جدیدتر نیاز دارد و هیچ بسته‌ای لازم نیست. robots.txt را یک بار می‌خواند، صفحه شما را به‌عنوان مرورگر دریافت می‌کند و سپس به‌عنوان هفت خزنده هوش مصنوعی: OAI-SearchBot، ChatGPT-User، GPTBot، Claude-SearchBot، ClaudeBot، PerplexityBot و Perplexity-User.

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic رشته کامل user agent را منتشر نمی‌کند، به همین دلیل دو خط Claude فقط از توکن خزنده استفاده می‌کنند. فایروالی که بر اساس توکن تشخیص می‌دهد، واکنش یکسانی نشان می‌دهد.

چگونه آن را اجرا کنم؟

آن را روی یکی از صفحه‌های سایت خودتان اجرا کنید. گزینه اختیاری --expect بررسی می‌کند که جمله‌ای از محتوای اصلی شما در HTML خامی که هر خزنده دریافت می‌کند وجود دارد یا نه. اگر نباشد، یعنی اسکریپت‌ها متن را بعد از بارگذاری اضافه می‌کنند و بسیاری از خزنده‌ها آن را نمی‌بینند.

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

فقط روی سایت‌هایی اجرا کنید که مال خودتان است یا اجازه آزمایش آن را دارید. این اسکریپت نه درخواست می‌فرستد: یکی برای robots.txt، یکی برای مرورگر و یکی برای هر خزنده.

خروجی چه شکلی است؟

این نتیجه روی یک سرور آزمایشی محلی است که عمداً خصمانه ساخته شده: OAI-SearchBot را با چالش روبه‌رو می‌کند، ClaudeBot را محدود می‌کند، به PerplexityBot یک پوسته خالی می‌دهد و در robots.txt دسترسی GPTBot را ممنوع می‌کند:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

در aiseewhy.com هر خزنده صفحه کامل را می‌گیرد، با همان وضعیت و حجمی که مرورگر می‌گیرد.

جدول را چگونه بخوانم؟

اسکریپت چه چیزهایی را نمی‌تواند نشان دهد؟

در سایت‌های واقعی چه می‌بینیم؟

AISeeWhy این نوع بررسی را برای 14 خزنده انجام می‌دهد. از میان 165 وب‌سایت کسب‌وکار در آمریکا، بریتانیا و فرانسه که توانستیم آزمایش کنیم، 38٪ (63 سایت) دست‌کم یک خزنده هوش مصنوعی را در سطح سرور رد کردند، در حالی که مرورگری از همان نشانی صفحه را گرفت. همه این سایت‌ها دست‌کم یک ربات آموزشی یا اسکرپر را رد کردند، و 10٪ (16 سایت) دست‌کم یک خزنده جست‌وجوی هوش مصنوعی را هم رد کردند، مانند PerplexityBot (11 سایت) یا OAI-SearchBot (5 سایت).

این سایت‌ها نمونه تصادفی نیستند و 53 سایت دیگر را نتوانستیم آزمایش کنیم، چون حتی یک درخواست ساده مرورگر هم رد شد یا بی‌پاسخ ماند. آن را الگویی بدانید که ارزش بررسی در سایت خودتان را دارد، نه یک سرشماری.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا اجرای این اسکریپت روی هر سایتی بی‌خطر است؟

فقط روی سایت‌هایی اجرا کنید که مال خودتان است یا اجازه آزمایش آن را دارید. این اسکریپت درخواست‌هایی با user agent خزنده‌ها می‌فرستد که بعضی سیستم‌های دفاع در برابر ربات آن را خصمانه می‌دانند.

چرا GPTBot ok نشان می‌دهد در حالی که robots.txt آن را ممنوع کرده است؟

robots.txt یک درخواست است، نه قفل. سرور به هر کسی که آن را نادیده بگیرد پاسخ می‌دهد، برای همین ستون HTTP مقدار ok را نشان می‌دهد. قانون کنار آن نشان می‌دهد یک خزنده مؤدب چه چیزی را رعایت می‌کند.

آیا اسکریپت جاوااسکریپت اجرا می‌کند؟

نه، عمداً. HTML‌ای را نشان می‌دهد که خزنده‌ای بدون رندر صفحه دریافت می‌کند. گزینه --expect می‌گوید متن اصلی شما از قبل در آن HTML هست یا نه.

آیا نتیجه سالم یعنی ChatGPT صفحه من را ارجاع می‌دهد؟

نه. دسترسی لازم است اما کافی نیست. برای اینکه ببینید یک دستیار نام سایت شما را می‌آورد یا نه، سؤال‌هایی را که مشتریانتان می‌پرسند از آن بپرسید و ببینید کدام سایت‌ها را ارجاع می‌دهد.

منابع

مقاله‌های دیگر