AI کرالرز کو آپ کی سائٹ سے اصل میں کیا ملتا ہے؟ 66 لائنوں کا اسکرپٹ
اپنا صفحہ پہلے براؤزر کے طور پر اور پھر ہر AI کرالر کے طور پر منگوائیں، اور نتائج کا موازنہ کریں۔ اگر صرف کرالر کو 403، 429 یا چیلنج صفحہ ملے، یا 200 جواب براؤزر کے صفحے سے بہت چھوٹا ہو، تو اس کا مطلب ہے کہ robots.txt اجازت دینے کے باوجود فائر وال اسے روک رہا ہے۔ 66 لائنوں کا Node اسکرپٹ سات کرالرز کے لیے یہ کام کرتا ہے اور robots.txt کو RFC 9309 کے اصولوں کے مطابق پڑھتا ہے۔
robots.txt کرالر کو بتاتی ہے کہ وہ کیا حاصل کر سکتا ہے۔ لیکن آپ کا فائر وال یا CDN حقیقت میں کیا واپس بھیجتا ہے، اس کے بارے میں وہ کچھ نہیں کہتی۔ اس پوسٹ میں ایک مختصر اسکرپٹ ہے جو دونوں چیزیں ساتھ ساتھ دکھاتا ہے، تاکہ آپ دیکھ سکیں کہ دونوں کہاں میل نہیں کھاتیں۔
اس صفحے پر
robots.txt سے کرالر کو ملنے والا جواب کیوں معلوم نہیں ہوتا؟
robots.txt ایک درخواست ہے۔ اصل میں کیا بھیجا جائے، یہ فائر وال، CDN یا بوٹ پروٹیکشن کا اصول طے کرتا ہے۔ وہ OAI-SearchBot یا PerplexityBot کو 403، 429 یا "Just a moment..." والا صفحہ دے سکتا ہے، جبکہ آپ کے اپنے براؤزر میں سب کچھ بالکل ٹھیک نظر آتا ہے۔
جانچنے کا طریقہ یہ ہے کہ ایک ہی URL کو براؤزر کے طور پر اور کرالر کے طور پر منگوائیں اور موازنہ کریں۔ صرف کرالر کو 403، 429 یا 503 ملنا، Just a moment... عنوان والا صفحہ ملنا، یا براؤزر کے مقابلے میں بہت چھوٹا 200 جواب ملنا، یہ سب فائر وال کی طرف اشارہ کرتے ہیں۔
اسکرپٹ
اسے ai-crawler-view.mjs کے نام سے محفوظ کریں۔ اس کے لیے Node 18 یا نیا ورژن چاہیے اور کوئی پیکیج درکار نہیں۔ یہ robots.txt ایک بار پڑھتا ہے، پھر آپ کا صفحہ براؤزر کے طور پر منگواتا ہے، اور اس کے بعد سات AI کرالرز کے طور پر: OAI-SearchBot، ChatGPT-User، GPTBot، Claude-SearchBot، ClaudeBot، PerplexityBot اور Perplexity-User۔
#!/usr/bin/env node
// ai-crawler-view: what do AI crawlers get from YOUR site, compared with a browser?
// Usage: node ai-crawler-view.mjs https://your-site.com/page [--expect "a sentence from your page"]
// Node 18+, no dependencies. Run it against sites you own: it sends requests with crawler user agents.
const BROWSER = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36";
const BOTS = [ // [robots.txt token, user agent]; Anthropic prints no full strings, so Claude gets a token-based one
["OAI-SearchBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"],
["ChatGPT-User", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot"],
["GPTBot", "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot"],
["Claude-SearchBot", "Mozilla/5.0 (compatible; Claude-SearchBot/1.0)"],
["ClaudeBot", "Mozilla/5.0 (compatible; ClaudeBot/1.0)"],
["PerplexityBot", "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"],
["Perplexity-User", "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"],
];
const BLOCK = new Set([401, 403, 406, 429, 451, 503, 999]);
const CHALLENGE = /Just a moment\.\.\.|Attention Required! \| Cloudflare|\/cdn-cgi\/challenge-platform|_Incapsula_Resource|Access Denied/i;
const [url, ...rest] = process.argv.slice(2);
const expect = rest.includes("--expect") ? rest[rest.indexOf("--expect") + 1] : "";
if (!url) { console.error("usage: node ai-crawler-view.mjs https://site/page [--expect \"text\"]"); process.exit(2); }
async function get(u, ua) {
try {
const r = await fetch(u, { headers: { "user-agent": ua }, redirect: "follow", signal: AbortSignal.timeout(15000) });
return { status: r.status, body: (await r.text()).slice(0, 500000) };
} catch (e) { return { status: 0, body: "", error: e.cause?.code || e.name }; }
}
// robots.txt, RFC 9309 in short: the group naming the token wins, else "*"; longest match wins; Allow wins a tie.
function robotsVerdict(txt, token, path) {
const groups = []; let cur = null;
for (const raw of txt.split(/\r?\n/)) {
const m = raw.replace(/#.*/, "").match(/^\s*([A-Za-z-]+)\s*:\s*(.*?)\s*$/); if (!m) continue;
const [k, v] = [m[1].toLowerCase(), m[2]];
if (k === "user-agent") { if (!cur || cur.rules.length) groups.push(cur = { agents: [], rules: [] }); cur.agents.push(v.toLowerCase()); }
else if (cur && (k === "allow" || k === "disallow") && v) cur.rules.push([k, v]);
}
const g = groups.find(x => x.agents.includes(token.toLowerCase())) || groups.find(x => x.agents.includes("*"));
if (!g) return "no rule";
let best = null;
for (const [k, p] of g.rules) {
const re = new RegExp("^" + p.replace(/[.+?^${}()|[\]\\]/g, "\\$&").replace(/\*/g, ".*").replace(/\\\$$/, "$"));
if (re.test(path) && (!best || p.length > best[1].length || (p.length === best[1].length && k === "allow"))) best = [k, p];
}
return best ? `${best[0]}: ${best[1]}` : "no rule";
}
const target = new URL(url);
const robots = await get(new URL("/robots.txt", target).href, BROWSER);
const robotsOk = robots.status >= 200 && robots.status < 300 && !/<html/i.test(robots.body);
const control = await get(url, BROWSER);
const cLen = control.body.length;
console.log(`control (browser): HTTP ${control.status}, ${cLen} bytes${expect ? `, expected text ${control.body.includes(expect) ? "found" : "MISSING"}` : ""}`);
if (control.status === 0 || BLOCK.has(control.status)) console.log(" the browser request itself failed or was refused: results below are not meaningful");
console.log(`robots.txt: ${robots.status >= 500 ? "server error (RFC 9309: crawlers must assume everything is disallowed)" : robotsOk ? "read" : "none or not valid"}\n`);
console.log("crawler robots.txt HTTP bytes verdict");
for (const [token, ua] of BOTS) {
const r = await get(url, ua);
const rule = robotsOk ? robotsVerdict(robots.body, token, target.pathname + target.search) : "no rule";
const challenge = CHALLENGE.test(r.body.slice(0, 20000)) && r.body.length < 20000;
const verdict = BLOCK.has(r.status) || challenge ? "BLOCKED by the server"
: r.status >= 400 || r.status === 0 ? `error ${r.status || r.error}`
: r.body.length < cLen * 0.5 ? "THIN: much smaller than the browser's page"
: expect && !r.body.includes(expect) ? "text MISSING from the HTML" : "ok";
console.log(`${token.padEnd(17)} ${rule.padEnd(19)} ${String(r.status).padEnd(5)} ${String(r.body.length).padEnd(7)} ${verdict}${rule.startsWith("disallow") ? " (robots.txt asks it to stay away)" : ""}`);
} Anthropic مکمل user agent اسٹرنگ شائع نہیں کرتا، اس لیے Claude کی دونوں لائنوں میں صرف کرالر ٹوکن استعمال ہوتا ہے۔ جو فائر وال ٹوکن سے میل کھاتا ہے، وہ اسی طرح ردعمل دیتا ہے۔
اسے کیسے چلائیں؟
اسے اپنی ہی سائٹ کے کسی صفحے پر چلائیں۔ اختیاری فلیگ --expect یہ جانچتا ہے کہ آپ کے مرکزی مواد کا کوئی جملہ ہر کرالر کو ملنے والے خام HTML میں موجود ہے یا نہیں۔ اگر وہ موجود نہیں، تو اسکرپٹس متن کو لوڈ ہونے کے بعد شامل کرتے ہیں، اور بہت سے کرالر اسے نہیں دیکھ پاتے۔
node ai-crawler-view.mjs https://your-site.com/pricing/ --expect "a sentence from your page" اسے صرف ان سائٹس پر چلائیں جو آپ کی اپنی ہوں یا جنہیں ٹیسٹ کرنے کی آپ کو اجازت ہو۔ یہ نو درخواستیں بھیجتا ہے: robots.txt، براؤزر اور ہر کرالر کے لیے ایک ایک۔
آؤٹ پٹ کیسا دکھائی دیتا ہے؟
یہ ایک جان بوجھ کر مخالف مقامی ٹیسٹ سرور کا نتیجہ ہے، جو OAI-SearchBot کو چیلنج کرتا ہے، ClaudeBot کی شرح محدود کرتا ہے، PerplexityBot کو خالی ڈھانچہ دیتا ہے اور robots.txt میں GPTBot کو منع کرتا ہے:
control (browser): HTTP 200, 2618 bytes, expected text found
robots.txt: read
crawler robots.txt HTTP bytes verdict
OAI-SearchBot allow: / 403 31 BLOCKED by the server
ChatGPT-User allow: / 200 2618 ok
GPTBot disallow: / 200 2618 ok (robots.txt asks it to stay away)
Claude-SearchBot allow: / 200 2618 ok
ClaudeBot allow: / 429 9 BLOCKED by the server
PerplexityBot allow: / 200 36 THIN: much smaller than the browser's page
Perplexity-User allow: / 200 2618 ok aiseewhy.com پر ہر کرالر کو پورا صفحہ ملتا ہے، اور اسٹیٹس اور سائز وہی ہوتے ہیں جو براؤزر کے ہوتے ہیں۔
ٹیبل کو کیسے پڑھیں؟
- robots.txt کا کالم وہ اجازت ہے جو آپ نے دی: یعنی RFC 9309 کے تحت اس کرالر پر لاگو ہونے والا اصول۔ پہلے وہ گروپ دیکھا جاتا ہے جس میں کرالر کا نام ہو، ورنہ
*، پھر سب سے لمبا مطابقت رکھنے والا اصول، اور برابری کی صورت میںAllowغالب رہتا ہے۔ - HTTP اور bytes کے کالم بتاتے ہیں کہ سرور نے کیا کیا۔
GPTBotکے آگے 200 اس لیے ہے کہ سرور ہر اس شخص کو جواب دیتا ہے جو robots.txt کو نظر انداز کرے۔ اس کے ساتھ لکھا اصول وہ ہے جس کی پابندی مہذب کرالر کرتا ہے۔ - خطرناک قطاریں اس کے برعکس ہیں:
allow: /کے ساتھBLOCKEDیاTHIN۔ یہ ایسی سائٹ ہے جو ہاں کہتی ہے اور جواب نہیں دیتی۔
اسکرپٹ کیا نہیں بتا سکتا؟
- یہ user agent کو آپ کے اپنے IP ایڈریس سے ٹیسٹ کرتا ہے، اصل کرالرز سے نہیں۔ بہت سے فائر وال کرالر کی تصدیق اس کے وینڈر کی شائع کردہ IP رینجز سے کرتے ہیں، اس لیے اصل
OAI-SearchBotکو اجازت مل سکتی ہے جبکہ آپ کی درخواست رد ہو جائے، یا اس کے الٹ بھی ہو سکتا ہے۔ اسے ایسے اصول تلاش کرنے کے لیے استعمال کریں جو user agent پر ردعمل دیتے ہیں، پھر وینڈرز کی شائع کردہ IP فہرستیں دیکھیں۔ - یہ جان بوجھ کر JavaScript نہیں چلاتا: یہ وہ HTML دکھاتا ہے جو رینڈر نہ کرنے والے کرالر کو نظر آئے گا۔
- صاف نتیجہ کوئی سفارش نہیں ہے۔ پڑھا جا سکنا اور حوالہ دیا جانا ایک چیز نہیں۔
حقیقی ویب سائٹس پر ہمیں کیا نظر آتا ہے؟
AISeeWhy 14 کرالرز کے لیے اسی طرح کی جانچ کرتا ہے۔ امریکا، برطانیہ اور فرانس کی 165 کاروباری ویب سائٹس میں سے، جنہیں ہم ٹیسٹ کر سکے، 38% (63 سائٹس) نے سرور پر کم از کم ایک AI کرالر کو واپس کر دیا، جبکہ اسی ایڈریس سے براؤزر کو صفحہ مل گیا۔ ان میں سے ہر سائٹ نے کم از کم ایک ٹریننگ یا اسکریپر بوٹ کو رد کیا، اور 10% (16 سائٹس) نے کم از کم ایک AI سرچ کرالر کو بھی رد کیا، مثلاً PerplexityBot (11 سائٹس) یا OAI-SearchBot (5)۔
یہ سائٹس بے ترتیب نمونہ نہیں ہیں، اور 53 مزید سائٹس ٹیسٹ نہ ہو سکیں کیونکہ سادہ براؤزر کی درخواست بھی رد ہوئی یا اس کا جواب نہیں آیا۔ اسے ایسا رجحان سمجھیں جسے اپنی سائٹ پر جانچنا مفید ہے، مردم شماری نہیں۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- AI کرالر IP جانچ
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا اسے کسی بھی سائٹ پر چلانا محفوظ ہے؟
اسے صرف ان سائٹس پر چلائیں جو آپ کی اپنی ہوں یا جنہیں ٹیسٹ کرنے کی آپ کو اجازت ہو۔ یہ کرالر user agent کے ساتھ درخواستیں بھیجتا ہے، جنہیں بعض بوٹ ڈیفنس مخالفانہ سمجھتے ہیں۔
robots.txt میں GPTBot منع ہونے کے باوجود ok کیوں دکھائی دیتا ہے؟
robots.txt ایک درخواست ہے، تالا نہیں۔ سرور ہر اس شخص کو جواب دیتا ہے جو اسے نظر انداز کرے، اس لیے HTTP کالم میں ok آتا ہے۔ اس کے ساتھ دیا گیا اصول بتاتا ہے کہ مہذب کرالر کس کی پابندی کرتا ہے۔
کیا اسکرپٹ JavaScript چلاتا ہے؟
نہیں، جان بوجھ کر نہیں۔ یہ وہ HTML دکھاتا ہے جو صفحات رینڈر نہ کرنے والے کرالر کو ملتا ہے۔ --expect فلیگ بتاتا ہے کہ آپ کا مرکزی متن پہلے سے اسی HTML میں موجود ہے یا نہیں۔
کیا صاف نتیجے کا مطلب ہے کہ ChatGPT میرے صفحے کا حوالہ دے گا؟
نہیں۔ رسائی ضروری ہے لیکن کافی نہیں۔ یہ دیکھنے کے لیے کہ اسسٹنٹ آپ کی سائٹ کا نام لیتا ہے یا نہیں، اس سے وہی سوال پوچھیں جو آپ کے خریدار پوچھتے ہیں اور نوٹ کریں کہ وہ کن سائٹس کا حوالہ دیتا ہے۔
ماخذ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI کرالرز کا جائزہ
- Anthropic: کیا Anthropic ویب سے ڈیٹا کرال کرتا ہے، اور سائٹ مالکان کرالر کو کیسے روک سکتے ہیں؟
- Perplexity: Perplexity کے کرالرز
- Cloudflare: AI کرالرز کا انتظام (AI Crawl Control)