Google-Extended

Google · AI ট্রেনিং

Google-Extended একটি robots.txt টোকেন, আলাদা কোনো ক্রলার নয়। এটি নিয়ন্ত্রণ করে Google-এর ক্রল করা কনটেন্ট ভবিষ্যৎ Gemini মডেলের ট্রেনিংয়ে এবং Gemini Apps ও Vertex AI-এ grounding-এর জন্য ব্যবহার করা যাবে কি না। Google জানায় এটি Google Search-এ একটি সাইটের অন্তর্ভুক্তিকে প্রভাবিত করে না।

কীভাবে অনুমতি দেবেন

User-agent: Google-Extended
Allow: /

কীভাবে ব্লক করবেন

User-agent: Google-Extended
Disallow: /

এটি কী করে

Google-Extended-এর নিজস্ব কোনো ইউজার এজেন্ট নেই। ক্রলিং হয় Google-এর বিদ্যমান ইউজার এজেন্ট দিয়ে, আর Google-Extended টোকেন নিয়ন্ত্রণের কাজে ব্যবহৃত হয়: এটি Google-কে জানায় তার ক্রল করা কনটেন্ট ভবিষ্যৎ প্রজন্মের Gemini মডেলের ট্রেনিংয়ে এবং Gemini Apps ও Vertex AI-এ grounding-এর জন্য ব্যবহার করা যাবে কি না।

Google জানায়, Google-Extended Google Search-এ একটি সাইটের অন্তর্ভুক্তিকে প্রভাবিত করে না। Search-এ Google-এর AI ফিচার, যেমন AI Overviews, এই টোকেন দিয়ে নয়, বরং Googlebot রুল ও snippet নিয়ন্ত্রণ দিয়ে পরিচালিত হয়।

আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 18.1% এটি ব্লক করেছে। →

robots.txt টোকেন

Google-Extended

আসল ভিজিট কীভাবে যাচাই করবেন

আপনার লগে যাচাই করার মতো কিছু নেই: Google-Extended কখনো ইউজার এজেন্ট হিসেবে দেখা যায় না। এর পেছনের অনুরোধগুলো আসে Google-এর সাধারণ ক্রলার থেকে, যেগুলো আপনি একটি reverse DNS lookup (googlebot.com, google.com বা googleusercontent.com) ও তারপর একটি forward lookup দিয়ে, অথবা Google-এর প্রকাশিত IP রেঞ্জের সঙ্গে মিলিয়ে যাচাই করতে পারেন।

আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →

AI ক্রলারের জন্য robots.txt: কী অনুমতি দেবেন, কী ব্লক করবেন →