AI کرالرز کو آپ کی سائٹ سے اصل میں کیا ملتا ہے؟ 66 لائنوں کا اسکرپٹ

شائع شدہ

مختصر جواب

اپنا صفحہ پہلے براؤزر کے طور پر اور پھر ہر AI کرالر کے طور پر منگوائیں، اور نتائج کا موازنہ کریں۔ اگر صرف کرالر کو 403، 429 یا چیلنج صفحہ ملے، یا 200 جواب براؤزر کے صفحے سے بہت چھوٹا ہو، تو اس کا مطلب ہے کہ robots.txt اجازت دینے کے باوجود فائر وال اسے روک رہا ہے۔ 66 لائنوں کا Node اسکرپٹ سات کرالرز کے لیے یہ کام کرتا ہے اور robots.txt کو RFC 9309 کے اصولوں کے مطابق پڑھتا ہے۔

robots.txt کرالر کو بتاتی ہے کہ وہ کیا حاصل کر سکتا ہے۔ لیکن آپ کا فائر وال یا CDN حقیقت میں کیا واپس بھیجتا ہے، اس کے بارے میں وہ کچھ نہیں کہتی۔ اس پوسٹ میں ایک مختصر اسکرپٹ ہے جو دونوں چیزیں ساتھ ساتھ دکھاتا ہے، تاکہ آپ دیکھ سکیں کہ دونوں کہاں میل نہیں کھاتیں۔

اس صفحے پر
  1. robots.txt سے کرالر کو ملنے والا جواب کیوں معلوم نہیں ہوتا؟
  2. اسکرپٹ
  3. اسے کیسے چلائیں؟
  4. آؤٹ پٹ کیسا دکھائی دیتا ہے؟
  5. ٹیبل کو کیسے پڑھیں؟
  6. اسکرپٹ کیا نہیں بتا سکتا؟
  7. حقیقی ویب سائٹس پر ہمیں کیا نظر آتا ہے؟

robots.txt سے کرالر کو ملنے والا جواب کیوں معلوم نہیں ہوتا؟

robots.txt ایک درخواست ہے۔ اصل میں کیا بھیجا جائے، یہ فائر وال، CDN یا بوٹ پروٹیکشن کا اصول طے کرتا ہے۔ وہ OAI-SearchBot یا PerplexityBot کو 403، 429 یا "Just a moment..." والا صفحہ دے سکتا ہے، جبکہ آپ کے اپنے براؤزر میں سب کچھ بالکل ٹھیک نظر آتا ہے۔

جانچنے کا طریقہ یہ ہے کہ ایک ہی URL کو براؤزر کے طور پر اور کرالر کے طور پر منگوائیں اور موازنہ کریں۔ صرف کرالر کو 403، 429 یا 503 ملنا، Just a moment... عنوان والا صفحہ ملنا، یا براؤزر کے مقابلے میں بہت چھوٹا 200 جواب ملنا، یہ سب فائر وال کی طرف اشارہ کرتے ہیں۔

اسکرپٹ

اسے ai-crawler-view.mjs کے نام سے محفوظ کریں۔ اس کے لیے Node 18 یا نیا ورژن چاہیے اور کوئی پیکیج درکار نہیں۔ یہ robots.txt ایک بار پڑھتا ہے، پھر آپ کا صفحہ براؤزر کے طور پر منگواتا ہے، اور اس کے بعد سات AI کرالرز کے طور پر: OAI-SearchBot، ChatGPT-User، GPTBot، Claude-SearchBot، ClaudeBot، PerplexityBot اور Perplexity-User۔

#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
  ["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
  ["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
  ["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
  ["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
  ["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
  ["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
  ["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;

const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }

async function get(u, ua) {
  try {
    const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
    return { status: r.status, body: (await r.text()).slice(0, 500000) };
  } catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}

// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
  const groups = []; let cur = null;
  for (const raw of txt.split(/\r?\n/)) {
    const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
    const [k, v] = [m[1].toLowerCase(), m[2]];
    if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
    else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
  }
  const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
  if (!g) return "no rule";
  let best = null;
  for (const [k, p] of g.rules) {
    const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
    if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
  }
  return best ? `${best[0]}: ${best[1]}` : "no rule";
}

const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log("  the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler           robots.txt          HTTP  bytes   verdict");
for (const [token, ua] of BOTS) {
  const r = await get(url, ua);
  const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
  const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
  const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
    : r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
    : r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
    : expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
  console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? "  (robots.txt asks it to stay away)" : ""}`);
}

Anthropic مکمل user agent اسٹرنگ شائع نہیں کرتا، اس لیے Claude کی دونوں لائنوں میں صرف کرالر ٹوکن استعمال ہوتا ہے۔ جو فائر وال ٹوکن سے میل کھاتا ہے، وہ اسی طرح ردعمل دیتا ہے۔

اسے کیسے چلائیں؟

اسے اپنی ہی سائٹ کے کسی صفحے پر چلائیں۔ اختیاری فلیگ --expect یہ جانچتا ہے کہ آپ کے مرکزی مواد کا کوئی جملہ ہر کرالر کو ملنے والے خام HTML میں موجود ہے یا نہیں۔ اگر وہ موجود نہیں، تو اسکرپٹس متن کو لوڈ ہونے کے بعد شامل کرتے ہیں، اور بہت سے کرالر اسے نہیں دیکھ پاتے۔

node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page"

اسے صرف ان سائٹس پر چلائیں جو آپ کی اپنی ہوں یا جنہیں ٹیسٹ کرنے کی آپ کو اجازت ہو۔ یہ نو درخواستیں بھیجتا ہے: robots.txt، براؤزر اور ہر کرالر کے لیے ایک ایک۔

آؤٹ پٹ کیسا دکھائی دیتا ہے؟

یہ ایک جان بوجھ کر مخالف مقامی ٹیسٹ سرور کا نتیجہ ہے، جو OAI-SearchBot کو چیلنج کرتا ہے، ClaudeBot کی شرح محدود کرتا ہے، PerplexityBot کو خالی ڈھانچہ دیتا ہے اور robots.txt میں GPTBot کو منع کرتا ہے:

control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read

crawler           robots.txt          HTTP  bytes   verdict
OAI-SearchBot     allow: /            403   31      BLOCKED by the server
ChatGPT-User      allow: /            200   2618    ok
GPTBot            disallow: /         200   2618    ok  (robots.txt asks it to stay away)
Claude-SearchBot  allow: /            200   2618    ok
ClaudeBot         allow: /            429   9       BLOCKED by the server
PerplexityBot     allow: /            200   36      THIN: much smaller than the browser's page
Perplexity-User   allow: /            200   2618    ok

aiseewhy.com پر ہر کرالر کو پورا صفحہ ملتا ہے، اور اسٹیٹس اور سائز وہی ہوتے ہیں جو براؤزر کے ہوتے ہیں۔

ٹیبل کو کیسے پڑھیں؟

اسکرپٹ کیا نہیں بتا سکتا؟

حقیقی ویب سائٹس پر ہمیں کیا نظر آتا ہے؟

AISeeWhy 14 کرالرز کے لیے اسی طرح کی جانچ کرتا ہے۔ امریکا، برطانیہ اور فرانس کی 165 کاروباری ویب سائٹس میں سے، جنہیں ہم ٹیسٹ کر سکے، 38% (63 سائٹس) نے سرور پر کم از کم ایک AI کرالر کو واپس کر دیا، جبکہ اسی ایڈریس سے براؤزر کو صفحہ مل گیا۔ ان میں سے ہر سائٹ نے کم از کم ایک ٹریننگ یا اسکریپر بوٹ کو رد کیا، اور 10% (16 سائٹس) نے کم از کم ایک AI سرچ کرالر کو بھی رد کیا، مثلاً PerplexityBot (11 سائٹس) یا OAI-SearchBot (5)۔

یہ سائٹس بے ترتیب نمونہ نہیں ہیں، اور 53 مزید سائٹس ٹیسٹ نہ ہو سکیں کیونکہ سادہ براؤزر کی درخواست بھی رد ہوئی یا اس کا جواب نہیں آیا۔ اسے ایسا رجحان سمجھیں جسے اپنی سائٹ پر جانچنا مفید ہے، مردم شماری نہیں۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا اسے کسی بھی سائٹ پر چلانا محفوظ ہے؟

اسے صرف ان سائٹس پر چلائیں جو آپ کی اپنی ہوں یا جنہیں ٹیسٹ کرنے کی آپ کو اجازت ہو۔ یہ کرالر user agent کے ساتھ درخواستیں بھیجتا ہے، جنہیں بعض بوٹ ڈیفنس مخالفانہ سمجھتے ہیں۔

robots.txt میں GPTBot منع ہونے کے باوجود ok کیوں دکھائی دیتا ہے؟

robots.txt ایک درخواست ہے، تالا نہیں۔ سرور ہر اس شخص کو جواب دیتا ہے جو اسے نظر انداز کرے، اس لیے HTTP کالم میں ok آتا ہے۔ اس کے ساتھ دیا گیا اصول بتاتا ہے کہ مہذب کرالر کس کی پابندی کرتا ہے۔

کیا اسکرپٹ JavaScript چلاتا ہے؟

نہیں، جان بوجھ کر نہیں۔ یہ وہ HTML دکھاتا ہے جو صفحات رینڈر نہ کرنے والے کرالر کو ملتا ہے۔ --expect فلیگ بتاتا ہے کہ آپ کا مرکزی متن پہلے سے اسی HTML میں موجود ہے یا نہیں۔

کیا صاف نتیجے کا مطلب ہے کہ ChatGPT میرے صفحے کا حوالہ دے گا؟

نہیں۔ رسائی ضروری ہے لیکن کافی نہیں۔ یہ دیکھنے کے لیے کہ اسسٹنٹ آپ کی سائٹ کا نام لیتا ہے یا نہیں، اس سے وہی سوال پوچھیں جو آپ کے خریدار پوچھتے ہیں اور نوٹ کریں کہ وہ کن سائٹس کا حوالہ دیتا ہے۔

ماخذ

مزید مضامین