Google-Extended ব্লক করলে কি AI Overviews ও AI Mode থেকে বাদ পড়বেন?
Google-এর ডকুমেন্টেশন অনুযায়ী না। Google-Extended নিয়ন্ত্রণ করে Gemini মডেল ট্রেনিং এবং Gemini Apps ও Vertex AI-এ গ্রাউন্ডিংয়ের জন্য আপনার কনটেন্টের ব্যবহার। AI Overviews ও AI Mode ব্যবহার করে সেই পেজগুলো, যা Googlebot Search-এর জন্য ক্রল করে। এগুলো সীমিত করতে Google স্নিপেট নিয়ন্ত্রণ, noindex এবং একটি Search Console সেটিংয়ের কথা বলে, যা একটি সাইটকে এই ফিচারগুলো থেকে বাদ দেয়।
Google-Extended-কে প্রায়ই বলা হয় Google-এর AI থেকে আপনার সাইট দূরে রাখার উপায়। এটি আংশিক সত্য, আর এই ফাঁক দুই দিকেই বিভ্রান্তি তৈরি করে: কিছু সাইট AI Overviews থেকে উধাও হওয়ার আশায় এটি ব্লক করে এবং কোনো পরিবর্তন দেখে না, অন্যরা সার্চ ট্রাফিক হারানোর ভয়ে এটি এড়িয়ে চলে। প্রতিটি নিয়ন্ত্রণ কী করে, তা নিয়ে Google-এর নিজের ডকুমেন্টেশন বেশ নির্দিষ্ট। এখানে দেখুন সেটি কী বলে, কোথায় পেজগুলো পুরোপুরি সামঞ্জস্যপূর্ণ নয়, এবং আপনার সাইটে কী চেক করবেন।
এই পেজে
Google-Extended কী?
Google Google-Extended-কে বর্ণনা করে একটি স্বতন্ত্র প্রোডাক্ট টোকেন হিসেবে, যা প্রকাশকেরা robots.txt-এ ব্যবহার করতে পারেন। এর নিজস্ব কোনো ক্রলার বা ইউজার এজেন্ট স্ট্রিং নেই; Google-এর বিদ্যমান ক্রলাররা পেজ আনে, আর টোকেনটি নিয়ন্ত্রণ করে সেই কনটেন্ট কীভাবে ব্যবহার করা যাবে।
Google-এর ক্রলার ডকুমেন্টেশন অনুযায়ী এটি দুটি ব্যবহার কভার করে: Gemini Apps ও Gemini-এর জন্য Vertex AI API চালানো Gemini মডেলের ভবিষ্যৎ প্রজন্মের ট্রেনিং, এবং গ্রাউন্ডিং, অর্থাৎ প্রম্পটের সময় মডেলকে দেওয়া Google Search ইনডেক্সের কনটেন্ট, Gemini Apps-এ এবং Vertex AI-এর Grounding with Google Search-এ। একই পেজ বলে, Google-Extended Google Search-এ একটি সাইটের অন্তর্ভুক্তিকে প্রভাবিত করে না এবং র্যাঙ্কিং সিগন্যাল হিসেবে ব্যবহার হয় না।
User-agent: Google-Extended
Disallow: / Google-Extended ব্লক করলে কি AI Overviews বা AI Mode-এ প্রভাব পড়ে?
Google-Extended যেসব ব্যবহার নিয়ন্ত্রণ করে, Google-এর ডকুমেন্টেশন তার মধ্যে AI Overviews বা AI Mode-এর নাম রাখে না। AI ফিচার নিয়ে Google-এর গাইড বলে, একটি পেজ ইনডেক্স হলে এবং Google Search-এ স্নিপেটসহ দেখানোর যোগ্য হলে সেটি AI Overviews বা AI Mode-এ সহায়ক লিংক হিসেবে দেখা যাওয়ার যোগ্য, কোনো অতিরিক্ত টেকনিক্যাল শর্ত ছাড়াই। Search-এ ক্রলিং নিয়ন্ত্রণের উপায় হিসেবে এটি Googlebot-এর robots.txt রুলের কথা বলে, Google-Extended-এর নয়।
তাই Google-এর বর্ণনা অনুযায়ী, যে পেজ Googlebot ক্রল ও ইনডেক্স করতে পারে এবং যার স্নিপেট দেখানো যায়, Google-Extended নিষিদ্ধ থাকলেও সেটি AI Overviews ও AI Mode-এ দেখা যেতে পারে।
একটি সূক্ষ্ম বিষয় স্পষ্ট করে বলা দরকার। Google-এর নতুন AI নিয়ন্ত্রণের Search Console সহায়তা পেজ বলে, Search-এর জেনারেটিভ AI ফিচারে উত্তর তৈরির মডেলগুলোর ট্রেনিং সীমিত করতে Google-Extended ব্যবহার করা উচিত। টোকেনটির জন্য Google-এর ক্রলার ডকুমেন্টেশন শুধু Gemini Apps ও Vertex AI-এর কথা বলে। দুটি পেজ পরিধিটি ভিন্নভাবে বর্ণনা করে। কোনোটিই বলে না যে টোকেনটি ব্লক করলে একটি সাইট AI Overviews থেকে বাদ পড়ে।
AI Overviews ও AI Mode-এ আপনি দেখা যাবেন কি না, তা কী নিয়ন্ত্রণ করে?
Google এই নিয়ন্ত্রণগুলো ডকুমেন্ট করে, সবচেয়ে সংকীর্ণ থেকে সবচেয়ে বিস্তৃত পর্যন্ত:
nosnippet: Google বলে, এই রুল কনটেন্টকে AI Overviews ও AI Mode-এর সরাসরি ইনপুট হিসেবে ব্যবহার হওয়া থেকেও আটকায়। এটি সার্চ ফলাফলের সাধারণ টেক্সট স্নিপেটও সরিয়ে দেয়।max-snippet: দৈর্ঘ্যের সীমাটি AI Overviews ও AI Mode-এর সরাসরি ইনপুট হিসেবে কতটা কনটেন্ট ব্যবহার করা যাবে, তার ক্ষেত্রেও প্রযোজ্য।data-nosnippet: পেজের চিহ্নিত অংশগুলোকে স্নিপেট থেকে বাদ দেয়। এ নিয়ে Google-এর ডকুমেন্টেশনে AI Overviews বা AI Mode-এর আলাদা উল্লেখ নেই।- Search Console-এর Search generative AI সেটিং: পুরো সাইটের জন্য একটি নিয়ন্ত্রণ, যাতে Include, Exclude এবং চাইল্ড প্রপার্টির জন্য Inherit অপশন আছে। বাদ দেওয়া কনটেন্ট AI Overviews, AI Mode বা Discover-এর জেনারেটিভ AI ফিচারে দেখা যায় না, এবং সেগুলো থেকে কোনো ট্রাফিক বা ইম্প্রেশন পায় না। Google বলে, 31 আগস্ট 2026 থেকে তারা নিয়ন্ত্রণটি বিশ্বের সব ওয়েবসাইটের জন্য চালু করেছে, বাদ দেওয়া সাধারণত 1 থেকে 2 দিনের মধ্যে কার্যকর হয়, এবং এটি Search-এর বাকি অংশের জন্য র্যাঙ্কিং বা অন্তর্ভুক্তির সিগন্যাল নয়।
noindexবাGooglebotdisallow: এগুলো পেজটিকে Google Search থেকে পুরোপুরি সরিয়ে দেয়, ফলে AI ফিচার থেকেও সরে যায়।
Google আরও বলে, AI Overviews বা AI Mode-এ দেখা যাওয়ার জন্য বিশেষ কোনো schema.org মার্কআপ বা অন্য কোনো অপটিমাইজেশন লাগে না।
তার বদলে Googlebot ব্লক করলে কী হয়?
Googlebot ব্লক করা সবচেয়ে ভোঁতা উপায়। Google বলে, এর উদ্দেশে দেওয়া ক্রল পছন্দ Google Search-কে প্রভাবিত করে, Discover ও সব Search ফিচারসহ। যে সাইট Googlebot-কে নিষেধ করে, সে AI Overviews ও AI Mode-এর উদ্ধৃতির সঙ্গে সাধারণ সার্চ ফলাফলও হারায়।
খুব কম বড় সাইট এটা করে। সবচেয়ে জনপ্রিয় 1,000টি ডোমেইনের robots.txt নিয়ে আমাদের গবেষণায়, robots.txt থাকা 518টি সাইটের মধ্যে 94টি (18.1%) Google-Extended-এর জন্য হোম পেজ নিষিদ্ধ করেছিল, অথচ Googlebot-এর জন্য করেছিল মাত্র 14টি (2.7%)। গবেষণাটি শুধু হোম পেজের robots.txt রুল দেখে, এবং সাইটগুলো রুলটি থেকে কী আশা করেছিল তা দেখাতে পারে না।
Google আমার সাইটে কী দেখে, তা কীভাবে চেক করব?
আপনার পেজ AI Overviews বা AI Mode-এ না থাকলে সাধারণ সার্চ ফলাফলের মতো একই চেইন ধরে এগোন:
- ইনডেক্সিং: Search Console-এর URL Inspection টুল দিয়ে নিশ্চিত হোন যে পেজটি ইনডেক্স হয়েছে এবং
Googlebotসেটি আনতে পেরেছে। - স্নিপেট: পেজের robots meta ট্যাগ ও
X-Robots-Tagহেডারেnosnippet, ছোটmax-snippetমান বাnoindexআছে কি না দেখুন। - Search Console-এর Search generative AI সেটিং: আপনার ডোমেইন প্রপার্টির জন্য এটি দেখুন, এবং মনে রাখুন চাইল্ড প্রপার্টি ডিফল্টভাবে প্যারেন্টের সেটিং পায়।
- robots.txt: নিশ্চিত হোন যে
Googlebotগ্রুপ, অথবাGooglebotগ্রুপ না থাকলে*গ্রুপ, পেজটিকে অনুমতি দেয়। একটিGoogle-Extendedগ্রুপ এটি বদলায় না। - ফায়ারওয়াল: নিশ্চিত হোন যে আপনার CDN বা বট সুরক্ষা Google-এর ক্রলারদের ব্লক বা চ্যালেঞ্জ করে না। অনুমতি দেওয়ার আগে reverse DNS বা Google-এর প্রকাশিত IP রেঞ্জ দিয়ে Googlebot যাচাই করুন।
- রেন্ডারিং: Google JavaScript রেন্ডার করে, তবু প্রাথমিক HTML-এ টেক্সট রাখাই সবচেয়ে নিরাপদ, আর অন্য বেশিরভাগ AI ক্রলারের এটিই দরকার।
সব চেক পাস করলেও প্রতিটি কোয়েরির জন্য কোন পেজ দেখানো হবে, তা Google-ই ঠিক করে। যোগ্য হওয়া আর দেখানো হওয়া এক জিনিস নয়।
AI Overviews-এর ট্রাফিক কোথায় দেখব?
Google বলে, AI ফিচারে দেখা যাওয়া সাইটের ট্রাফিক Search Console-এর Performance রিপোর্টের সামগ্রিক সার্চ ট্রাফিকের মধ্যে থাকে। 2026-এর নিয়ন্ত্রণগুলোর সঙ্গে Google Search Console-এ জেনারেটিভ AI ইনসাইটের ঘোষণাও দিয়েছে, যা ইম্প্রেশন এবং কোন পেজ AI উত্তরে দেখা যায় তা দেখায়, এবং বলেছে আরও মেট্রিক আসবে। আপনার সার্ভার লগে Google-Extended দেখা যায় না, কারণ এর নিজস্ব কোনো ইউজার এজেন্ট নেই।
AISeeWhy আপনার robots.txt-এ Googlebot ও Google-Extended দুটিই চেক করে, Google-এর ক্রলার ব্রাউজারের মতো একই পেজ পায় কি না পরীক্ষা করে, এবং এমন nosnippet ও noindex রুলের কথা জানায়, যা একটি পেজকে AI Overviews ও AI Mode-এর বাইরে রাখবে।
পরবর্তী ধাপ
- AI ক্রলারের জন্য robots.txt টেস্টার ও চেকার
- AI ক্রলারের IP চেক
- পূর্ণ রিপোর্টের একটি উদাহরণ দেখুন
- AI ক্রলার মনিটরিং
- প্ল্যান ও মূল্য
এই আর্টিকেলের ক্রলার
প্রশ্নোত্তর
Google-Extended ব্লক করলে কি Google-এ আমার র্যাঙ্কিং কমবে?
Google বলে Google-Extended Google Search-এ অন্তর্ভুক্তিকে প্রভাবিত করে না এবং র্যাঙ্কিং সিগন্যাল হিসেবে ব্যবহার হয় না।
Google Search-এ থেকে কীভাবে AI Overviews থেকে সাইট বাদ রাখব?
Google Search Console-এ একটি Search generative AI সেটিং দেয়, যা Search-এর বাকি অংশে প্রভাব না ফেলে একটি সাইটকে AI Overviews, AI Mode ও Discover-এর জেনারেটিভ AI ফিচার থেকে বাদ দেয়। nosnippet ও max-snippet-ও সরাসরি ইনপুট হিসেবে ব্যবহার সীমিত করে, তবে এগুলো সাধারণ স্নিপেটও বদলে দেয়।
Search Console-এর AI সেটিং কি AI ট্রেনিং থামায়?
না। Google-এর সহায়তা পেজ বলে, সেটিংটি ট্রেনিং কভার করে না এবং সেজন্য Google-Extended-এর কথা বলে।
AI Overviews-এ দেখা যেতে কি বিশেষ মার্কআপ লাগে?
Google বলে, কোনো অতিরিক্ত শর্ত বা বিশেষ schema.org স্ট্রাকচার্ড ডেটা লাগে না। পেজটিকে ইনডেক্স হতে হবে এবং স্নিপেট দেখানোর যোগ্য হতে হবে।
Google-Extended কি এমন ক্রলার, যা ফায়ারওয়ালে ব্লক করা যায়?
না। এর নিজস্ব কোনো ইউজার এজেন্ট নেই, তাই ফায়ারওয়াল একে দেখতে পায় না। এটি শুধু robots.txt টোকেন হিসেবে কাজ করে। ফায়ারওয়ালে Google-এর আসল ক্রলারদের ব্লক করলে Search-এ প্রভাব পড়বে।
উৎস
- Google: সাধারণ ক্রলার, Google-Extended সহ
- Google Search Central: AI ফিচার ও আপনার ওয়েবসাইট
- Google Search Central: Robots meta ট্যাগ, data-nosnippet ও X-Robots-Tag
- Google Search Console সহায়তা: Search-এর জেনারেটিভ AI নিয়ন্ত্রণ
- Google: ওয়েবসাইট মালিকদের জন্য নতুন সুযোগ, নিয়ন্ত্রণ ও ইনসাইট
- Google: Google ক্রলার ও ফেচার যাচাই
- Google Search Central: JavaScript SEO-র মূল বিষয়
- AISeeWhy: AI ক্রলার অ্যাক্সেস রিপোর্ট, 2026-11