AI ক্রলার কি JavaScript দিয়ে রেন্ডার হওয়া কনটেন্ট পড়তে পারে?

প্রকাশিত

সংক্ষিপ্ত উত্তর

প্রায়ই না। Googlebot পরের একটি ধাপে JavaScript রেন্ডার করে, কিন্তু বেশিরভাগ AI ক্রলার এমন করার কথা ডকুমেন্ট করে না, আর Google নিজেই উল্লেখ করে যে সব বট JavaScript চালাতে পারে না। আপনার টেক্সট শুধু স্ক্রিপ্ট চলার পরে দেখা গেলে একটি AI ক্রলার খালি পেজ পেতে পারে। সার্ভার-সাইড রেন্ডারিং বা স্ট্যাটিক পেজ দিয়ে মূল কনটেন্ট প্রাথমিক HTML-এই দিন।

সিঙ্গল-পেজ অ্যাপ ও ক্লায়েন্ট-সাইড ফ্রেমওয়ার্ক সবখানে, আর ব্রাউজারে সেগুলো ঠিকঠাক দেখায়। যে ক্রলার শুধু আপনার সার্ভারের পাঠানো HTML পড়ে, সে দেখে অন্য কিছু: একটি <div id="root"></div>, কয়েকটি script ট্যাগ এবং সামান্য বা কোনো টেক্সটই নয়। AI উত্তরের জন্য সেই পেজে উদ্ধৃত করার মতো কিছু নেই।

এই পেজে
  1. AI ক্রলাররা কেন JavaScript কনটেন্ট মিস করে?
  2. একটি ক্রলার কী পায়, তা কীভাবে চেক করব?
  3. কোন পেজগুলো সবচেয়ে ঝুঁকিতে?
  4. শুধু JavaScript-নির্ভর কনটেন্ট কীভাবে ঠিক করব?
  5. লগইন, সম্মতি ও পেওয়ালের স্ক্রিনও কি AI ক্রলার ব্লক করে?
  6. AISeeWhy কীভাবে শুধু JavaScript-নির্ভর পেজ শনাক্ত করে?

AI ক্রলাররা কেন JavaScript কনটেন্ট মিস করে?

JavaScript চালানো ব্যয়বহুল। একটি ক্রলারকে স্ক্রিপ্ট ডাউনলোড করতে হয়, একটি ব্রাউজার ইঞ্জিনে চালাতে হয় এবং ডেটা লোড হওয়ার জন্য অপেক্ষা করতে হয়। Google Search-এর জন্য এটা করে: সে ক্রল করে, পেজগুলোকে রেন্ডারিংয়ের জন্য সারিতে রাখে, এবং রিসোর্স থাকলে headless Chromium দিয়ে রেন্ডার করে। তবুও Google সার্ভার-সাইড রেন্ডারিং বা প্রিরেন্ডারিংয়ের সুপারিশ করে, কারণ এটি ব্যবহারকারী ও ক্রলার দুজনের জন্যই দ্রুত, এবং উল্লেখ করে যে সব বট JavaScript চালাতে পারে না।

OpenAI, Anthropic ও Perplexity তাদের ক্রলার ডকুমেন্টেশনে বলে না যে তাদের এজেন্টরা JavaScript চালায়। Apple বলে Applebot একটি ব্রাউজারে পেজ রেন্ডার করতে পারে। স্পষ্ট বিবৃতি না থাকায় AI ক্রলারদের ক্ষেত্রে নিরাপদ অনুমান হলো, তারা শুধু প্রাথমিক HTML পড়ে।

একটি ক্রলার কী পায়, তা কীভাবে চেক করব?

রেন্ডার হওয়া পেজ নয়, কাঁচা HTML দেখুন। ব্রাউজারের ডেভেলপার টুল স্ক্রিপ্ট চলার পরের DOM দেখায়, যা ক্রলার পায় না। view-source ব্যবহার করুন, অথবা কমান্ড লাইন থেকে কাঁচা HTML সেভ করে তাতে খুঁজুন:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

ফল 0 মানে বাক্যটি সার্ভারের পাঠানো HTML-এ নেই, তাই যে ক্রলাররা স্ক্রিপ্ট চালায় না তারা এটি খুঁজে পাবে না। ফাইলটিতে একবার চোখ বোলালেই বাকিটা বোঝা যায়: সার্ভারে রেন্ডার হওয়া একটি আর্টিকেলে পুরো টেক্সট থাকে; ক্লায়েন্ট-সাইড খোলসে থাকে একটি খালি root এলিমেন্ট আর স্ক্রিপ্টের তালিকা।

কোন পেজগুলো সবচেয়ে ঝুঁকিতে?

শুধু JavaScript-নির্ভর কনটেন্ট কীভাবে ঠিক করব?

সমাধান হলো গুরুত্বপূর্ণ কনটেন্ট প্রথম রেসপন্সেই পাঠানো। আপনার স্ট্যাক যেটি অনুমতি দেয়, তার মধ্যে সবচেয়ে হালকা উপায়টি বেছে নিন:

পুরো অ্যাপ একবারে বদলাতে হবে না। যে পেজগুলো উদ্ধৃত হোক চান, সেগুলো দিয়ে শুরু করুন: আর্টিকেল, ডকুমেন্টেশন, পণ্য ও মূল্যের পেজ। অ্যাকাউন্টের অংশ ও ড্যাশবোর্ড ক্লায়েন্ট-সাইডেই থাকতে পারে, কারণ সেগুলো এমনিতেই লগইনের পেছনে।

ইউজার এজেন্ট দেখে ক্রলারদের ব্যবহারকারীদের থেকে আলাদা পেজ দেওয়া এড়িয়ে চলুন। সবার জন্য একই HTML রেন্ডার করা রক্ষণাবেক্ষণে সহজ এবং ক্লোকিং নিয়ে যেকোনো সন্দেহ এড়ায়।

লগইন, সম্মতি ও পেওয়ালের স্ক্রিনও কি AI ক্রলার ব্লক করে?

হ্যাঁ। ক্রলার লগইন করে না, কুকি ব্যানারে ক্লিক করে না এবং চ্যালেঞ্জ সমাধান করে না। Anthropic জানায় তার বটগুলো CAPTCHA এড়ানোর চেষ্টা করবে না। কোনো consent manager যদি HTML-এ পেজটিকে একটি পূর্ণ-স্ক্রিন ওভারলে দিয়ে বদলে দেয়, বা প্রথমবারের ভিজিটরদের একটি সম্মতির পেজে রিডাইরেক্ট করে, তাহলে ক্রলার আপনার কনটেন্টের বদলে সেটিই পায়।

নিশ্চিত হোন যে পাবলিক পেজগুলো সম্মতির অবস্থা যা-ই হোক HTML-এ তাদের কনটেন্ট রেন্ডার করে, আর ব্যানারটি পেজের বদলে নয়, ওভারলে হিসেবে থাকে। যে পেজগুলো উদ্ধৃত হোক চান, সেগুলো লগইনের দেয়ালের বাইরে রাখুন, এবং চেক করুন ক্রলারকে যেন সাইন-ইন পেজে রিডাইরেক্ট করা না হয়।

AISeeWhy কীভাবে শুধু JavaScript-নির্ভর পেজ শনাক্ত করে?

AISeeWhy প্রতিটি ক্রলার যেমন পায় তেমনভাবে প্রাথমিক HTML পড়ে, স্ক্রিপ্ট না চালিয়ে। কোনো পেজে প্রায় কোনো দৃশ্যমান টেক্সট না থাকলে কিন্তু একটি ফ্রেমওয়ার্কের root এলিমেন্ট ও স্ক্রিপ্ট থাকলে এটি একটি P1 পর্যবেক্ষণ জানায় যে কনটেন্টের জন্য JavaScript লাগে। এটি এমন রিডাইরেক্টও চিহ্নিত করে, যা ক্রলারদের ব্রাউজারের পাওয়া পেজ ছাড়া অন্য কোথাও পাঠায়।

এই সমস্যার সমাধান

ফ্রি টুল

পরবর্তী ধাপ

এই আর্টিকেলের ক্রলার

প্রশ্নোত্তর

Googlebot কি JavaScript রেন্ডার করে?

হ্যাঁ। Google HTML ক্রল করে, পেজগুলোকে রেন্ডারিংয়ের জন্য সারিতে রাখে এবং রিসোর্স থাকলে headless Chromium দিয়ে রেন্ডার করে। তবুও Google সার্ভার-সাইড রেন্ডারিং বা প্রিরেন্ডারিংয়ের সুপারিশ করে।

ChatGPT, Claude ও Perplexity-র ক্রলাররা কি JavaScript চালায়?

তাদের ভেন্ডরদের ক্রলার ডকুমেন্টেশন তা বলে না। কোনো ভেন্ডর অন্য কিছু না জানানো পর্যন্ত ধরে নিন ক্রলার প্রাথমিক HTML পড়ে, এবং নিশ্চিত করুন আপনার কনটেন্ট তাতে আছে।

বটদের জন্য ডায়নামিক রেন্ডারিং কি ভালো ধারণা?

সাময়িক সমাধান হিসেবে এটি কাজ করে, তবে রক্ষণাবেক্ষণের জন্য দ্বিতীয় একটি রেন্ডারিং পথ যোগ করে। সার্ভার-সাইড রেন্ডারিং বা স্ট্যাটিক HTML সবাইকে একই কনটেন্ট দেয় এবং দীর্ঘমেয়াদে সহজতর সমাধান।

JavaScript দিয়ে যোগ করা JSON-LD কি গোনা হয়?

Google রেন্ডারিংয়ের পরে এটি পড়তে পারে, কিন্তু যে ক্রলাররা স্ক্রিপ্ট চালায় না তারা এটি দেখবে না। JSON-LD প্রাথমিক HTML-এ রাখুন।

উৎস

আরও আর্টিকেল