ماذا تحصل عليه زواحف الذكاء الاصطناعي فعلاً من موقعك؟ سكربت من 66 سطراً
اطلب صفحتك كمتصفح ثم كل زاحف ذكاء اصطناعي على حدة، وقارن النتائج. إذا ظهرت 403 أو 429 أو صفحة تحدٍّ للزاحف وحده، أو جاءت استجابة 200 أصغر بكثير من صفحة المتصفح، فهذا يعني أن جدار الحماية يرفضه حتى لو كان robots.txt يسمح به. سكربت Node من 66 سطراً ينفذ ذلك لسبعة زواحف ويقرأ robots.txt وفق قواعد RFC 9309.
يخبر robots.txt الزاحف بما يُسمح له بجلبه، لكنه لا يقول شيئاً عمّا يرسله جدار الحماية أو الـ CDN فعلاً. يقدم هذا المقال سكربتاً قصيراً يعرض الأمرين جنباً إلى جنب، لترى أين يختلفان.
في هذه الصفحة
لماذا لا يخبرك robots.txt بما يحصل عليه الزاحف؟
robots.txt مجرد طلب. أما جدار الحماية أو الـ CDN أو قاعدة حماية البوتات فهي التي تقرر ما يُرسَل فعلاً، وقد ترد على OAI-SearchBot أو PerplexityBot برمز 403 أو 429 أو بصفحة "Just a moment..." بينما تبدو زياراتك من المتصفح طبيعية تماماً.
الفحص هو طلب الرابط نفسه كمتصفح وكزاحف، ثم المقارنة. إذا ظهرت 403 أو 429 أو 503 للزاحف وحده، أو صفحة عنوانها Just a moment...، أو استجابة 200 أصغر بكثير من استجابة المتصفح، فكلها تشير إلى جدار الحماية.
السكربت
احفظه باسم ai-crawler-view.mjs. يحتاج إلى Node 18 أو أحدث ولا يتطلب أي حزم. يقرأ robots.txt مرة واحدة، ثم يجلب صفحتك كمتصفح، ثم كسبعة زواحف ذكاء اصطناعي: OAI-SearchBot وChatGPT-User وGPTBot وClaude-SearchBot وClaudeBot وPerplexityBot وPerplexity-User.
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} لا تنشر Anthropic سلاسل user agent كاملة، لذا يستخدم سطرا Claude اسم الزاحف فقط. وجدار الحماية الذي يطابق الاسم سيتصرف بالطريقة نفسها.
كيف أشغّله؟
شغّله على صفحة من موقعك. يتحقق الخيار الاختياري --expect من وجود جملة من محتواك الرئيسي في HTML الخام الذي يستلمه كل زاحف. إذا لم تكن موجودة، فهذا يعني أن سكربتات تضيف النص بعد التحميل، وكثير من الزواحف لن تراه.
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" شغّله فقط على مواقع تملكها أو مسموح لك باختبارها. يرسل تسعة طلبات: robots.txt والمتصفح وطلباً لكل زاحف.
كيف تبدو النتيجة؟
هذه نتيجة التشغيل على خادم اختبار محلي عدائي عمداً: يفرض تحدياً على OAI-SearchBot، ويحدّ معدل ClaudeBot، ويقدم لـ PerplexityBot صفحة فارغة، ويمنع GPTBot في robots.txt:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok على aiseewhy.com يحصل كل زاحف على الصفحة كاملة، بالحالة والحجم نفسيهما كالمتصفح.
كيف أقرأ الجدول؟
- عمود robots.txt هو الإذن الذي منحته: القاعدة المنطبقة على ذلك الزاحف وفق RFC 9309، أي المجموعة التي تسمّي الزاحف وإلا
*، ثم أطول قاعدة مطابقة، وتفوزAllowعند التعادل. - عمودا HTTP وbytes يعرضان ما فعله الخادم. يظهر
GPTBotبرمز 200 لأن الخادم يجيب كل من يتجاهل robots.txt؛ والقاعدة المجاورة هي ما يلتزم به الزاحف المنضبط. - الصفوف الخطرة هي العكس:
allow: /بجانبBLOCKEDأوTHIN. هذا موقع يقول نعم ويجيب بلا.
ما الذي لا يستطيع السكربت إخبارك به؟
- يختبر user agents من عنوان IP الخاص بك، لا الزواحف الحقيقية. كثير من جدران الحماية تتحقق من الزاحف عبر نطاقات IP التي تنشرها الجهة المطورة، فقد يُسمح لـ
OAI-SearchBotالحقيقي بالمرور بينما يُرفض طلبك، أو العكس. استخدمه لاكتشاف القواعد التي تتفاعل مع user agent، ثم راجع قوائم IP المنشورة لدى الجهات المطورة. - لا ينفذ JavaScript عمداً: فهو يعرض HTML الذي يراه زاحف لا يعرض الصفحات.
- النتيجة السليمة ليست توصية. أن تكون مقروءاً لا يعني أن يتم الاستشهاد بك.
ماذا نرى في مواقع حقيقية؟
تجري AISeeWhy هذا النوع من الفحص على 14 زاحفاً. من بين 165 موقعاً تجارياً في الولايات المتحدة والمملكة المتحدة وفرنسا استطعنا اختبارها، رفض 38% (63 موقعاً) زاحف ذكاء اصطناعي واحداً على الأقل على مستوى الخادم بينما حصل متصفح من العنوان نفسه على الصفحة. كل واحد من هذه المواقع رفض بوت تدريب أو جمع بيانات واحداً على الأقل، ورفض 10% (16 موقعاً) أيضاً زاحف بحث ذكاء اصطناعي واحداً على الأقل، مثل PerplexityBot (11 موقعاً) أو OAI-SearchBot (5).
المواقع ليست عينة عشوائية، وتعذّر اختبار 53 موقعاً إضافياً لأن حتى طلب متصفح عادي رُفض أو لم يُجَب. اعتبره نمطاً يستحق الفحص على موقعك، لا إحصاءً شاملاً.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فحص عناوين IP لزواحف الذكاء الاصطناعي
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
هل من الآمن تشغيله على أي موقع؟
شغّله فقط على مواقع تملكها أو مسموح لك باختبارها. يرسل طلبات بـ user agents لزواحف، وبعض أنظمة الحماية من البوتات تعدّها عدائية.
لماذا يظهر GPTBot بحالة ok رغم أن robots.txt يمنعه؟
robots.txt طلب وليس قفلاً. يجيب الخادم كل من يتجاهله، لذلك يعرض عمود HTTP حالة ok. القاعدة المجاورة توضح ما يلتزم به الزاحف المنضبط.
هل ينفذ السكربت JavaScript؟
لا، عمداً. فهو يعرض HTML الذي يستلمه زاحف لا يعرض الصفحات. ويخبرك الخيار --expect ما إذا كان نصك الرئيسي موجوداً بالفعل في ذلك HTML.
هل تعني النتيجة السليمة أن ChatGPT سيستشهد بصفحتي؟
لا. الوصول ضروري لكنه غير كافٍ. لمعرفة ما إذا كان مساعد ما يذكر موقعك، اطرح عليه الأسئلة التي يطرحها عملاؤك ولاحظ المواقع التي يستشهد بها.
المصادر
- RFC 9309: بروتوكول استثناء الروبوتات
- OpenAI: نظرة عامة على زواحف OpenAI
- Anthropic: هل تزحف Anthropic على بيانات الويب، وكيف يمكن لأصحاب المواقع حظر الزاحف؟
- Perplexity: زواحف Perplexity
- Cloudflare: إدارة زواحف الذكاء الاصطناعي (AI Crawl Control)