Google-Extended
Google-Extended একটি robots.txt টোকেন, আলাদা কোনো ক্রলার নয়। এটি নিয়ন্ত্রণ করে Google-এর ক্রল করা কনটেন্ট ভবিষ্যৎ Gemini মডেলের ট্রেনিংয়ে এবং Gemini Apps ও Vertex AI-এ grounding-এর জন্য ব্যবহার করা যাবে কি না। Google জানায় এটি Google Search-এ একটি সাইটের অন্তর্ভুক্তিকে প্রভাবিত করে না।
কীভাবে অনুমতি দেবেন
User-agent: Google-Extended
Allow: / কীভাবে ব্লক করবেন
User-agent: Google-Extended
Disallow: / এটি কী করে
Google-Extended-এর নিজস্ব কোনো ইউজার এজেন্ট নেই। ক্রলিং হয় Google-এর বিদ্যমান ইউজার এজেন্ট দিয়ে, আর Google-Extended টোকেন নিয়ন্ত্রণের কাজে ব্যবহৃত হয়: এটি Google-কে জানায় তার ক্রল করা কনটেন্ট ভবিষ্যৎ প্রজন্মের Gemini মডেলের ট্রেনিংয়ে এবং Gemini Apps ও Vertex AI-এ grounding-এর জন্য ব্যবহার করা যাবে কি না।
Google জানায়, Google-Extended Google Search-এ একটি সাইটের অন্তর্ভুক্তিকে প্রভাবিত করে না। Search-এ Google-এর AI ফিচার, যেমন AI Overviews, এই টোকেন দিয়ে নয়, বরং Googlebot রুল ও snippet নিয়ন্ত্রণ দিয়ে পরিচালিত হয়।
আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 18.1% এটি ব্লক করেছে। →
robots.txt টোকেন
Google-Extended
আসল ভিজিট কীভাবে যাচাই করবেন
আপনার লগে যাচাই করার মতো কিছু নেই: Google-Extended কখনো ইউজার এজেন্ট হিসেবে দেখা যায় না। এর পেছনের অনুরোধগুলো আসে Google-এর সাধারণ ক্রলার থেকে, যেগুলো আপনি একটি reverse DNS lookup (googlebot.com, google.com বা googleusercontent.com) ও তারপর একটি forward lookup দিয়ে, অথবা Google-এর প্রকাশিত IP রেঞ্জের সঙ্গে মিলিয়ে যাচাই করতে পারেন।
আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →
AI ক্রলারের জন্য robots.txt: কী অনুমতি দেবেন, কী ব্লক করবেন →