AI ক্রলার কি JavaScript দিয়ে রেন্ডার হওয়া কনটেন্ট পড়তে পারে?
প্রায়ই না। Googlebot পরের একটি ধাপে JavaScript রেন্ডার করে, কিন্তু বেশিরভাগ AI ক্রলার এমন করার কথা ডকুমেন্ট করে না, আর Google নিজেই উল্লেখ করে যে সব বট JavaScript চালাতে পারে না। আপনার টেক্সট শুধু স্ক্রিপ্ট চলার পরে দেখা গেলে একটি AI ক্রলার খালি পেজ পেতে পারে। সার্ভার-সাইড রেন্ডারিং বা স্ট্যাটিক পেজ দিয়ে মূল কনটেন্ট প্রাথমিক HTML-এই দিন।
সিঙ্গল-পেজ অ্যাপ ও ক্লায়েন্ট-সাইড ফ্রেমওয়ার্ক সবখানে, আর ব্রাউজারে সেগুলো ঠিকঠাক দেখায়। যে ক্রলার শুধু আপনার সার্ভারের পাঠানো HTML পড়ে, সে দেখে অন্য কিছু: একটি <div id="root"></div>, কয়েকটি script ট্যাগ এবং সামান্য বা কোনো টেক্সটই নয়। AI উত্তরের জন্য সেই পেজে উদ্ধৃত করার মতো কিছু নেই।
এই পেজে
AI ক্রলাররা কেন JavaScript কনটেন্ট মিস করে?
JavaScript চালানো ব্যয়বহুল। একটি ক্রলারকে স্ক্রিপ্ট ডাউনলোড করতে হয়, একটি ব্রাউজার ইঞ্জিনে চালাতে হয় এবং ডেটা লোড হওয়ার জন্য অপেক্ষা করতে হয়। Google Search-এর জন্য এটা করে: সে ক্রল করে, পেজগুলোকে রেন্ডারিংয়ের জন্য সারিতে রাখে, এবং রিসোর্স থাকলে headless Chromium দিয়ে রেন্ডার করে। তবুও Google সার্ভার-সাইড রেন্ডারিং বা প্রিরেন্ডারিংয়ের সুপারিশ করে, কারণ এটি ব্যবহারকারী ও ক্রলার দুজনের জন্যই দ্রুত, এবং উল্লেখ করে যে সব বট JavaScript চালাতে পারে না।
OpenAI, Anthropic ও Perplexity তাদের ক্রলার ডকুমেন্টেশনে বলে না যে তাদের এজেন্টরা JavaScript চালায়। Apple বলে Applebot একটি ব্রাউজারে পেজ রেন্ডার করতে পারে। স্পষ্ট বিবৃতি না থাকায় AI ক্রলারদের ক্ষেত্রে নিরাপদ অনুমান হলো, তারা শুধু প্রাথমিক HTML পড়ে।
একটি ক্রলার কী পায়, তা কীভাবে চেক করব?
রেন্ডার হওয়া পেজ নয়, কাঁচা HTML দেখুন। ব্রাউজারের ডেভেলপার টুল স্ক্রিপ্ট চলার পরের DOM দেখায়, যা ক্রলার পায় না। view-source ব্যবহার করুন, অথবা কমান্ড লাইন থেকে কাঁচা HTML সেভ করে তাতে খুঁজুন:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html ফল 0 মানে বাক্যটি সার্ভারের পাঠানো HTML-এ নেই, তাই যে ক্রলাররা স্ক্রিপ্ট চালায় না তারা এটি খুঁজে পাবে না। ফাইলটিতে একবার চোখ বোলালেই বাকিটা বোঝা যায়: সার্ভারে রেন্ডার হওয়া একটি আর্টিকেলে পুরো টেক্সট থাকে; ক্লায়েন্ট-সাইড খোলসে থাকে একটি খালি root এলিমেন্ট আর স্ক্রিপ্টের তালিকা।
কোন পেজগুলো সবচেয়ে ঝুঁকিতে?
- React, Vue, Angular বা Svelte দিয়ে তৈরি সিঙ্গল-পেজ অ্যাপ, যা সবকিছু ব্রাউজারে রেন্ডার করে।
- যেসব পেজ লোডের পরে একটি API থেকে মূল টেক্সট আনে, যেমন পণ্যের বিবরণ, দাম বা রিভিউ।
- ট্যাব, অ্যাকর্ডিয়ন বা "load more" সেকশনের ভেতরের কনটেন্ট, যা শুধু ক্লিক করলে চাওয়া হয়।
- লগইন, পেওয়াল বা সম্মতির দেয়ালের পেছনের পেজ, যা ক্রলার পেরোতে পারে না।
- যেসব পেজ শুধু JavaScript দিয়ে
noindexবা canonical URL সেট করে। Google সতর্ক করে, মূল HTML-এnoindexদেখলে সে রেন্ডারিং পুরোপুরি বাদ দিতে পারে।
শুধু JavaScript-নির্ভর কনটেন্ট কীভাবে ঠিক করব?
সমাধান হলো গুরুত্বপূর্ণ কনটেন্ট প্রথম রেসপন্সেই পাঠানো। আপনার স্ট্যাক যেটি অনুমতি দেয়, তার মধ্যে সবচেয়ে হালকা উপায়টি বেছে নিন:
- সার্ভার-সাইড রেন্ডারিং (SSR): Next.js, Nuxt, SvelteKit ও Angular SSR-এর মতো ফ্রেমওয়ার্ক সার্ভারে পেজ রেন্ডার করে এবং ব্রাউজারে hydrate করে।
- স্ট্যাটিক জেনারেশন বা প্রিরেন্ডারিং: যেসব পেজ কম বদলায়, যেমন আর্টিকেল, ডকুমেন্টেশন ও ল্যান্ডিং পেজ, সেগুলোর HTML ডিপ্লয়ের সময় তৈরি করুন।
- প্রগ্রেসিভ এনহ্যান্সমেন্ট: টেক্সট, হেডিং, লিংক, দাম ও JSON-LD HTML-এ রাখুন এবং JavaScript শুধু ইন্টারঅ্যাকশনের জন্য ব্যবহার করুন।
- যা গুরুত্বপূর্ণ তা সরাসরি HTML-এ রাখুন: ট্যাবে কনটেন্ট লুকানো থাকলে ক্লিকে না এনে পুরোটা HTML-এ রাখুন এবং CSS বা স্ক্রিপ্ট দিয়ে দেখানো-লুকানো করুন।
পুরো অ্যাপ একবারে বদলাতে হবে না। যে পেজগুলো উদ্ধৃত হোক চান, সেগুলো দিয়ে শুরু করুন: আর্টিকেল, ডকুমেন্টেশন, পণ্য ও মূল্যের পেজ। অ্যাকাউন্টের অংশ ও ড্যাশবোর্ড ক্লায়েন্ট-সাইডেই থাকতে পারে, কারণ সেগুলো এমনিতেই লগইনের পেছনে।
ইউজার এজেন্ট দেখে ক্রলারদের ব্যবহারকারীদের থেকে আলাদা পেজ দেওয়া এড়িয়ে চলুন। সবার জন্য একই HTML রেন্ডার করা রক্ষণাবেক্ষণে সহজ এবং ক্লোকিং নিয়ে যেকোনো সন্দেহ এড়ায়।
লগইন, সম্মতি ও পেওয়ালের স্ক্রিনও কি AI ক্রলার ব্লক করে?
হ্যাঁ। ক্রলার লগইন করে না, কুকি ব্যানারে ক্লিক করে না এবং চ্যালেঞ্জ সমাধান করে না। Anthropic জানায় তার বটগুলো CAPTCHA এড়ানোর চেষ্টা করবে না। কোনো consent manager যদি HTML-এ পেজটিকে একটি পূর্ণ-স্ক্রিন ওভারলে দিয়ে বদলে দেয়, বা প্রথমবারের ভিজিটরদের একটি সম্মতির পেজে রিডাইরেক্ট করে, তাহলে ক্রলার আপনার কনটেন্টের বদলে সেটিই পায়।
নিশ্চিত হোন যে পাবলিক পেজগুলো সম্মতির অবস্থা যা-ই হোক HTML-এ তাদের কনটেন্ট রেন্ডার করে, আর ব্যানারটি পেজের বদলে নয়, ওভারলে হিসেবে থাকে। যে পেজগুলো উদ্ধৃত হোক চান, সেগুলো লগইনের দেয়ালের বাইরে রাখুন, এবং চেক করুন ক্রলারকে যেন সাইন-ইন পেজে রিডাইরেক্ট করা না হয়।
AISeeWhy কীভাবে শুধু JavaScript-নির্ভর পেজ শনাক্ত করে?
AISeeWhy প্রতিটি ক্রলার যেমন পায় তেমনভাবে প্রাথমিক HTML পড়ে, স্ক্রিপ্ট না চালিয়ে। কোনো পেজে প্রায় কোনো দৃশ্যমান টেক্সট না থাকলে কিন্তু একটি ফ্রেমওয়ার্কের root এলিমেন্ট ও স্ক্রিপ্ট থাকলে এটি একটি P1 পর্যবেক্ষণ জানায় যে কনটেন্টের জন্য JavaScript লাগে। এটি এমন রিডাইরেক্টও চিহ্নিত করে, যা ক্রলারদের ব্রাউজারের পাওয়া পেজ ছাড়া অন্য কোথাও পাঠায়।
এই সমস্যার সমাধান
- AI এজেন্টদের জন্য কোনো Markdown সংস্করণ নেই
- পেজের কনটেন্টের জন্য JavaScript দরকার
- মার্কআপে দাম আছে কিন্তু পেজের টেক্সটে নেই
- মার্কআপে রেটিং আছে যা পেজে দেখানো হয় না
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
Googlebot কি JavaScript রেন্ডার করে?
হ্যাঁ। Google HTML ক্রল করে, পেজগুলোকে রেন্ডারিংয়ের জন্য সারিতে রাখে এবং রিসোর্স থাকলে headless Chromium দিয়ে রেন্ডার করে। তবুও Google সার্ভার-সাইড রেন্ডারিং বা প্রিরেন্ডারিংয়ের সুপারিশ করে।
ChatGPT, Claude ও Perplexity-র ক্রলাররা কি JavaScript চালায়?
তাদের ভেন্ডরদের ক্রলার ডকুমেন্টেশন তা বলে না। কোনো ভেন্ডর অন্য কিছু না জানানো পর্যন্ত ধরে নিন ক্রলার প্রাথমিক HTML পড়ে, এবং নিশ্চিত করুন আপনার কনটেন্ট তাতে আছে।
বটদের জন্য ডায়নামিক রেন্ডারিং কি ভালো ধারণা?
সাময়িক সমাধান হিসেবে এটি কাজ করে, তবে রক্ষণাবেক্ষণের জন্য দ্বিতীয় একটি রেন্ডারিং পথ যোগ করে। সার্ভার-সাইড রেন্ডারিং বা স্ট্যাটিক HTML সবাইকে একই কনটেন্ট দেয় এবং দীর্ঘমেয়াদে সহজতর সমাধান।
JavaScript দিয়ে যোগ করা JSON-LD কি গোনা হয়?
Google রেন্ডারিংয়ের পরে এটি পড়তে পারে, কিন্তু যে ক্রলাররা স্ক্রিপ্ট চালায় না তারা এটি দেখবে না। JSON-LD প্রাথমিক HTML-এ রাখুন।
উৎস
- Google Search Central: JavaScript SEO-র মূল বিষয়
- Apple: Applebot সম্পর্কে
- OpenAI: OpenAI ক্রলারের সংক্ষিপ্ত পরিচিতি
- Anthropic: Anthropic কি ওয়েব থেকে ডেটা ক্রল করে, আর সাইট মালিকেরা কীভাবে ক্রলারটি ব্লক করবেন?
- Perplexity: Perplexity ক্রলার