خزندههای هوش مصنوعی واقعاً چه چیزی از سایت شما میگیرند؟ یک اسکریپت 66 خطی
صفحهتان را یک بار بهعنوان مرورگر و یک بار بهعنوان هر خزنده هوش مصنوعی درخواست کنید و نتیجه را مقایسه کنید. اگر فقط برای خزنده خطای 403 یا 429 یا یک صفحه چالش برگردد، یا پاسخ 200 بسیار کوچکتر از صفحه مرورگر باشد، یعنی فایروال خزنده را رد میکند، حتی اگر robots.txt اجازه بدهد. یک اسکریپت Node با 66 خط این کار را برای هفت خزنده انجام میدهد و robots.txt را طبق قواعد RFC 9309 میخواند.
robots.txt به خزنده میگوید چه چیزی را مجاز است دریافت کند، اما چیزی درباره پاسخ واقعی فایروال یا CDN شما نمیگوید. این نوشته یک اسکریپت کوتاه به شما میدهد که هر دو را کنار هم نشان میدهد تا ببینید کجا با هم نمیخوانند.
در این صفحه
چرا robots.txt نشان نمیدهد خزنده چه چیزی دریافت میکند؟
robots.txt فقط یک درخواست است. فایروال، CDN یا قانون محافظت در برابر ربات تصمیم میگیرد واقعاً چه چیزی برگردد، و میتواند به OAI-SearchBot یا PerplexityBot خطای 403، خطای 429 یا صفحه «Just a moment...» بدهد، در حالی که بازدیدهای خودتان با مرورگر کاملاً عادی به نظر میرسند.
روش بررسی این است که همان نشانی را یک بار با مرورگر و یک بار با خزنده درخواست کنید و نتیجه را مقایسه کنید. خطای 403، 429 یا 503 فقط برای خزنده، صفحهای با عنوان Just a moment...، یا پاسخ 200 که بسیار کوچکتر از پاسخ مرورگر است، همگی به فایروال اشاره میکنند.
اسکریپت
آن را با نام ai-crawler-view.mjs ذخیره کنید. به Node نسخه 18 یا جدیدتر نیاز دارد و هیچ بستهای لازم نیست. robots.txt را یک بار میخواند، صفحه شما را بهعنوان مرورگر دریافت میکند و سپس بهعنوان هفت خزنده هوش مصنوعی: OAI-SearchBot، ChatGPT-User، GPTBot، Claude-SearchBot، ClaudeBot، PerplexityBot و Perplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic رشته کامل user agent را منتشر نمیکند، به همین دلیل دو خط Claude فقط از توکن خزنده استفاده میکنند. فایروالی که بر اساس توکن تشخیص میدهد، واکنش یکسانی نشان میدهد.
چگونه آن را اجرا کنم؟
آن را روی یکی از صفحههای سایت خودتان اجرا کنید. گزینه اختیاری --expect بررسی میکند که جملهای از محتوای اصلی شما در HTML خامی که هر خزنده دریافت میکند وجود دارد یا نه. اگر نباشد، یعنی اسکریپتها متن را بعد از بارگذاری اضافه میکنند و بسیاری از خزندهها آن را نمیبینند.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" فقط روی سایتهایی اجرا کنید که مال خودتان است یا اجازه آزمایش آن را دارید. این اسکریپت نه درخواست میفرستد: یکی برای robots.txt، یکی برای مرورگر و یکی برای هر خزنده.
خروجی چه شکلی است؟
این نتیجه روی یک سرور آزمایشی محلی است که عمداً خصمانه ساخته شده: OAI-SearchBot را با چالش روبهرو میکند، ClaudeBot را محدود میکند، به PerplexityBot یک پوسته خالی میدهد و در robots.txt دسترسی GPTBot را ممنوع میکند:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok در aiseewhy.com هر خزنده صفحه کامل را میگیرد، با همان وضعیت و حجمی که مرورگر میگیرد.
جدول را چگونه بخوانم؟
- ستون robots.txt اجازهای است که شما دادهاید: قانونی که طبق RFC 9309 برای آن خزنده اعمال میشود، یعنی گروهی که نام خزنده را دارد و در غیر این صورت
*، سپس طولانیترین قانون منطبق، و در صورت تساویAllowبرنده است. - ستونهای HTTP و بایت نشان میدهند سرور چه کرده است.
GPTBotوضعیت 200 دارد چون سرور به هر کسی که robots.txt را نادیده بگیرد پاسخ میدهد؛ قانون کنار آن همان چیزی است که یک خزنده مؤدب رعایت میکند. - ردیفهای خطرناک حالت عکس هستند:
allow: /در کنارBLOCKEDیاTHIN. یعنی سایتی که میگوید بله و جواب میدهد نه.
اسکریپت چه چیزهایی را نمیتواند نشان دهد؟
- این اسکریپت user agentها را از IP خودتان آزمایش میکند، نه خزندههای واقعی را. بسیاری از فایروالها خزنده را با بازههای IP که سازندهاش منتشر کرده تأیید میکنند، بنابراین ممکن است
OAI-SearchBotواقعی عبور کند در حالی که درخواست شما رد میشود، یا برعکس. از آن برای پیدا کردن قانونهایی استفاده کنید که به user agent واکنش نشان میدهند و سپس فهرست IP منتشرشده توسط سازندهها را بررسی کنید. - عمداً جاوااسکریپت اجرا نمیکند: HTMLای را نشان میدهد که خزندهای بدون رندر میبیند.
- نتیجه سالم یک توصیه نیست. قابلخواندن بودن با ارجاع داده شدن یکی نیست.
در سایتهای واقعی چه میبینیم؟
AISeeWhy این نوع بررسی را برای 14 خزنده انجام میدهد. از میان 165 وبسایت کسبوکار در آمریکا، بریتانیا و فرانسه که توانستیم آزمایش کنیم، 38٪ (63 سایت) دستکم یک خزنده هوش مصنوعی را در سطح سرور رد کردند، در حالی که مرورگری از همان نشانی صفحه را گرفت. همه این سایتها دستکم یک ربات آموزشی یا اسکرپر را رد کردند، و 10٪ (16 سایت) دستکم یک خزنده جستوجوی هوش مصنوعی را هم رد کردند، مانند PerplexityBot (11 سایت) یا OAI-SearchBot (5 سایت).
این سایتها نمونه تصادفی نیستند و 53 سایت دیگر را نتوانستیم آزمایش کنیم، چون حتی یک درخواست ساده مرورگر هم رد شد یا بیپاسخ ماند. آن را الگویی بدانید که ارزش بررسی در سایت خودتان را دارد، نه یک سرشماری.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا اجرای این اسکریپت روی هر سایتی بیخطر است؟
فقط روی سایتهایی اجرا کنید که مال خودتان است یا اجازه آزمایش آن را دارید. این اسکریپت درخواستهایی با user agent خزندهها میفرستد که بعضی سیستمهای دفاع در برابر ربات آن را خصمانه میدانند.
چرا GPTBot ok نشان میدهد در حالی که robots.txt آن را ممنوع کرده است؟
robots.txt یک درخواست است، نه قفل. سرور به هر کسی که آن را نادیده بگیرد پاسخ میدهد، برای همین ستون HTTP مقدار ok را نشان میدهد. قانون کنار آن نشان میدهد یک خزنده مؤدب چه چیزی را رعایت میکند.
آیا اسکریپت جاوااسکریپت اجرا میکند؟
نه، عمداً. HTMLای را نشان میدهد که خزندهای بدون رندر صفحه دریافت میکند. گزینه --expect میگوید متن اصلی شما از قبل در آن HTML هست یا نه.
آیا نتیجه سالم یعنی ChatGPT صفحه من را ارجاع میدهد؟
نه. دسترسی لازم است اما کافی نیست. برای اینکه ببینید یک دستیار نام سایت شما را میآورد یا نه، سؤالهایی را که مشتریانتان میپرسند از آن بپرسید و ببینید کدام سایتها را ارجاع میدهد.
منابع
- RFC 9309: پروتکل استثنای رباتها
- OpenAI: مروری بر خزندههای OpenAI
- Anthropic: آیا Anthropic دادهها را از وب میخزد و صاحبان سایت چگونه میتوانند خزنده را مسدود کنند؟
- Perplexity: خزندههای Perplexity
- Cloudflare: مدیریت خزندههای هوش مصنوعی (AI Crawl Control)