পেজটি সার্চ ইঞ্জিনকে এটি ইনডেক্স না করতে বলে
পেজটি সার্চ ইঞ্জিনকে এটি ইনডেক্স না করতে বলে: একটি robots, googlebot বা bingbot meta ট্যাগে, অথবা একটি X-Robots-Tag HTTP হেডারে noindex বা none আছে। পর্যবেক্ষণে কোনটি তা দেখানো হয়। তখন Google ও Bing পেজটিকে তাদের ফলাফলের বাইরে রাখে। পেজটি খুঁজে পাওয়ার কথা হলে রুলটি সরান।
এর মানে কী
একটি noindex রুল (meta) এই পেজকে Google ও Bing-এর বাইরে রাখে, ফলে তাদের ইনডেক্সের ওপর তৈরি AI উত্তরেরও বাইরে। পেজটি খুঁজে পাওয়ার কথা হলে এটি সরিয়ে দিন।
AI সার্চের জন্য এটি কেন গুরুত্বপূর্ণ
Google ও Bing পরের বার পেজটি ক্রল করার সময় noindex রুল মানে, এবং পেজটি তাদের ফলাফল থেকে বাদ পড়ে। তখন সেই সার্চ ইনডেক্সের ওপর তৈরি AI উত্তর ও AI সার্চ ফিচারও পেজটি খুঁজে পায় না।
চেকআউটের ধাপ, অভ্যন্তরীণ সার্চের ফলাফল বা ধন্যবাদের পেজের মতো পেজে noindex ঠিক আছে। সমস্যা হয় যখন এটি স্টেজিং সাইট থেকে রয়ে যায়, পুরো সাইটের "discourage search engines" অপশন দিয়ে সেট হয়, অথবা সার্ভার বা CDN রুল থেকে হেডার হিসেবে পাঠানো হয়, যা HTML-এ কেউ দেখে না।
কীভাবে ঠিক করবেন
- পর্যবেক্ষণে উৎসটি দেখুন: HTML-এ একটি meta ট্যাগ নাকি একটি
X-Robots-Tagহেডার। - meta ট্যাগের ক্ষেত্রে এ থেকে
noindexওnoneসরান বা ট্যাগটি মুছে দিন। WordPress-এ দেখুন Settings → Reading → "Discourage search engines from indexing this site" বন্ধ আছে কি না, এবং পেজের নিজের SEO সেটিং দেখুন। Shopify-তে থিম কোড ও robots meta ট্যাগ যোগ করা অ্যাপ দেখুন। - হেডারের ক্ষেত্রে এটি কোথায় সেট হয় তা খুঁজুন, যেমন Nginx-এর
add_header, Apache-এরHeader set, একটি_headersফাইল, Cloudflare Transform Rule বা ফ্রেমওয়ার্কের middleware, এবং এই পেজের জন্য সেটি সরান। - একই সময়ে robots.txt-এ পেজটি ব্লক করবেন না: noindex সরে গেছে তা দেখতে ক্রলারকে পেজটি আনতে হবে।
- ফলাফল নিশ্চিত করতে পেজ রিপোর্টে "আবার চেক করুন" চালান।
উদাহরণ
# nginx: send noindex only where it belongs, not site-wide
location /search/ {
add_header X-Robots-Tag "noindex";
} সমাধান কাজ করেছে কি না কীভাবে নিশ্চিত হবেন
পরিবর্তনের পর রিপোর্টে "আবার চেক করুন" চাপুন: এটি দেখায় কী ঠিক হয়েছে এবং স্কোর কীভাবে বদলেছে।