کیا AI کرالرز JavaScript سے رینڈر ہونے والا مواد پڑھ سکتے ہیں؟

شائع شدہ

مختصر جواب

اکثر نہیں۔ Googlebot بعد کے مرحلے میں JavaScript رینڈر کرتا ہے، لیکن زیادہ تر AI کرالرز ایسا کرنے کی دستاویز نہیں دیتے، اور خود Google بتاتا ہے کہ تمام بوٹس JavaScript نہیں چلا سکتے۔ اگر آپ کا متن صرف اسکرپٹس چلنے کے بعد ظاہر ہوتا ہے تو AI کرالر کو خالی صفحہ مل سکتا ہے۔ مرکزی مواد سرور سائیڈ رینڈرنگ یا static صفحات سے ابتدائی HTML میں دیں۔

Single-page ایپس اور کلائنٹ سائیڈ فریم ورکس ہر جگہ ہیں، اور براؤزر میں ٹھیک دکھتے ہیں۔ جو کرالر صرف آپ کے سرور کا بھیجا ہوا HTML پڑھتا ہے اسے کچھ اور نظر آتا ہے: ایک <div id="root"></div>، چند اسکرپٹ ٹیگز اور بہت کم یا کوئی متن نہیں۔ AI جوابات کے لیے ایسے صفحے میں اقتباس دینے کو کچھ نہیں ہوتا۔

اس صفحے پر
  1. AI کرالرز سے JavaScript والا مواد کیوں چھوٹ جاتا ہے؟
  2. میں کیسے جانچوں کہ کرالر کو کیا ملتا ہے؟
  3. کون سے صفحات سب سے زیادہ خطرے میں ہیں؟
  4. صرف JavaScript والا مواد کیسے ٹھیک کروں؟
  5. کیا لاگ اِن، consent اور paywall اسکرینیں بھی AI کرالرز کو بلاک کرتی ہیں؟
  6. AISeeWhy صرف JavaScript والے صفحات کیسے پہچانتا ہے؟

AI کرالرز سے JavaScript والا مواد کیوں چھوٹ جاتا ہے؟

JavaScript چلانا مہنگا ہے۔ کرالر کو اسکرپٹس ڈاؤن لوڈ کرنی، انہیں براؤزر انجن میں چلانا اور ڈیٹا لوڈ ہونے کا انتظار کرنا پڑتا ہے۔ Google یہ Search کے لیے کرتا ہے: وہ کرال کرتا ہے، صفحات کو رینڈرنگ کی قطار میں ڈالتا ہے، اور وسائل اجازت دیں تو انہیں headless Chromium سے رینڈر کرتا ہے۔ پھر بھی Google سرور سائیڈ رینڈرنگ یا prerendering کا مشورہ دیتا ہے کیونکہ یہ یوزرز اور کرالرز کے لیے تیز ہے، اور بتاتا ہے کہ تمام بوٹس JavaScript نہیں چلا سکتے۔

OpenAI، Anthropic اور Perplexity اپنی کرالر دستاویزات میں نہیں بتاتے کہ ان کے ایجنٹس JavaScript چلاتے ہیں۔ Apple کہتا ہے کہ Applebot صفحات کو براؤزر میں رینڈر کر سکتا ہے۔ واضح بیان کے بغیر AI کرالرز کے لیے محفوظ مفروضہ یہ ہے کہ وہ صرف ابتدائی HTML پڑھتے ہیں۔

میں کیسے جانچوں کہ کرالر کو کیا ملتا ہے؟

رینڈر شدہ صفحہ نہیں، خام HTML دیکھیں۔ براؤزر کے developer tools اسکرپٹس چلنے کے بعد کا DOM دکھاتے ہیں، جو کرالر کو نہیں ملتا۔ view-source استعمال کریں، یا کمانڈ لائن سے خام HTML محفوظ کر کے اس میں تلاش کریں:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

0 نتیجے کا مطلب ہے کہ جملہ سرور کے بھیجے ہوئے HTML میں نہیں، اس لیے جو کرالرز اسکرپٹس نہیں چلاتے انہیں یہ نہیں ملے گا۔ فائل پر ایک نظر باقی بتا دیتی ہے: سرور پر رینڈر ہونے والے مضمون کا پورا متن وہاں ہوتا ہے؛ کلائنٹ سائیڈ ڈھانچے میں خالی root عنصر اور اسکرپٹس کی فہرست ہوتی ہے۔

کون سے صفحات سب سے زیادہ خطرے میں ہیں؟

صرف JavaScript والا مواد کیسے ٹھیک کروں؟

حل یہ ہے کہ اہم مواد پہلے جواب ہی میں بھیجیں۔ آپ کا stack جس سب سے ہلکے طریقے کی اجازت دے، وہ چنیں:

آپ کو پوری ایپ ایک ساتھ بدلنے کی ضرورت نہیں۔ ان صفحات سے شروع کریں جن کا حوالہ آپ چاہتے ہیں: مضامین، دستاویزات، پروڈکٹ اور قیمتوں کے صفحات۔ اکاؤنٹ کے حصے اور ڈیش بورڈز کلائنٹ سائیڈ رہ سکتے ہیں، کیونکہ وہ ویسے بھی لاگ اِن کے پیچھے ہیں۔

یوزر ایجنٹ کی بنیاد پر کرالرز کو یوزرز سے مختلف صفحہ دینے سے بچیں۔ سب کے لیے ایک ہی HTML رینڈر کرنا برقرار رکھنے میں آسان ہے اور cloaking کے کسی بھی شبہے سے بچاتا ہے۔

کیا لاگ اِن، consent اور paywall اسکرینیں بھی AI کرالرز کو بلاک کرتی ہیں؟

ہاں۔ کرالر لاگ اِن نہیں کرتا، کوکی بینر پر کلک نہیں کرتا اور چیلنجز حل نہیں کرتا۔ Anthropic کہتا ہے کہ اس کے بوٹس CAPTCHAs کو bypass کرنے کی کوشش نہیں کریں گے۔ اگر consent manager، HTML میں صفحے کی جگہ پوری اسکرین کا overlay رکھ دے، یا پہلی بار آنے والوں کو consent صفحے پر ری ڈائریکٹ کرے، تو کرالر کو آپ کے مواد کے بجائے وہی ملتا ہے۔

یقینی بنائیں کہ عوامی صفحات consent کی حالت سے قطع نظر اپنا مواد HTML میں رینڈر کریں، اور بینر جگہ لینے کے بجائے overlay ہو۔ جن صفحات کا حوالہ آپ چاہتے ہیں انہیں لاگ اِن کی دیواروں سے باہر رکھیں، اور جانچیں کہ کرالر sign-in صفحے پر ری ڈائریکٹ نہیں ہوتا۔

AISeeWhy صرف JavaScript والے صفحات کیسے پہچانتا ہے؟

AISeeWhy ابتدائی HTML ویسے پڑھتا ہے جیسے ہر کرالر کو ملتا ہے، اسکرپٹس چلائے بغیر۔ جب کسی صفحے پر تقریباً کوئی نظر آنے والا متن نہ ہو لیکن فریم ورک کا root عنصر اور اسکرپٹس ہوں تو یہ P1 نتیجہ دیتا ہے کہ مواد کو JavaScript درکار ہے۔ یہ ان ری ڈائریکٹس کی بھی نشاندہی کرتا ہے جو کرالرز کو براؤزر والے صفحے کے بجائے کہیں اور بھیجتے ہیں۔

اس مسئلے کے حل

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا Googlebot، JavaScript رینڈر کرتا ہے؟

ہاں۔ Google، HTML کرال کرتا ہے، صفحات کو رینڈرنگ کی قطار میں ڈالتا ہے اور وسائل اجازت دیں تو انہیں headless Chromium سے رینڈر کرتا ہے۔ Google پھر بھی سرور سائیڈ رینڈرنگ یا prerendering کا مشورہ دیتا ہے۔

کیا ChatGPT، Claude اور Perplexity کے کرالرز JavaScript چلاتے ہیں؟

ان کی کمپنیوں کی کرالر دستاویزات یہ نہیں بتاتیں۔ جب تک کوئی کمپنی اس کے برعکس نہ کہے، فرض کریں کہ کرالر ابتدائی HTML پڑھتا ہے اور یقینی بنائیں کہ آپ کا مواد اس میں ہے۔

کیا بوٹس کے لیے dynamic rendering اچھا خیال ہے؟

یہ عارضی حل کے طور پر کام کرتا ہے لیکن برقرار رکھنے کو رینڈرنگ کا دوسرا راستہ بڑھا دیتا ہے۔ سرور سائیڈ رینڈرنگ یا static HTML سب کو ایک ہی مواد دیتا ہے اور طویل مدت کے لیے آسان حل ہے۔

کیا JavaScript سے شامل کیا گیا JSON-LD شمار ہوتا ہے؟

Google اسے رینڈرنگ کے بعد پڑھ سکتا ہے، لیکن جو کرالرز اسکرپٹس نہیں چلاتے وہ اسے نہیں دیکھیں گے۔ JSON-LD ابتدائی HTML میں رکھیں۔

ماخذ

مزید مضامین