Googlebot

Google · সার্চ ইঞ্জিন

Googlebot হলো Google-এর সার্চ ইনডেক্স তৈরির প্রধান ক্রলার। Google জানায়, Search-এর জন্য একটি সাইট কীভাবে ক্রল হবে তা নিয়ন্ত্রণ করে Googlebot-এর robots.txt রুল, AI Overviews ও AI Mode-এর মতো AI ফিচারসহ। এটি ব্লক করলে আপনার পেজ Google Search ও সেই AI উত্তরগুলো থেকে বাদ পড়ে।

কীভাবে অনুমতি দেবেন

User-agent: Googlebot
Allow: /

কীভাবে ব্লক করবেন

User-agent: Googlebot
Disallow: /

এটি কী করে

Googlebot Google-এর সার্চ ইনডেক্স তৈরির জন্য তথ্য খুঁজতে ব্যবহৃত হয়। Googlebot টোকেনের উদ্দেশে দেওয়া ক্রলিংয়ের পছন্দ Google Search এবং Google Images, Video, Google News ও Discover-এর মতো প্রোডাক্টকে প্রভাবিত করে। এটি স্মার্টফোন ও ডেস্কটপ ক্রলার হিসেবে চলে; দুটোই একই Googlebot রুল মানে, আর Google জানায় তার সাধারণ ক্রলার স্বয়ংক্রিয়ভাবে ক্রল করার সময় সবসময় robots.txt মানে।

AI ফিচার নিয়ে Google-এর ডকুমেন্টেশন Googlebot রুলকে Search-এর নিয়ন্ত্রণ হিসেবে বর্ণনা করে, AI Overviews ও AI Mode-সহ, এবং কী দেখানো হবে তা সীমিত করতে nosnippet, data-nosnippet, max-snippet ও noindex-এর কথা বলে। Gemini ট্রেনিংয়ে ব্যবহার আলাদাভাবে Google-Extended দিয়ে নিয়ন্ত্রিত হয়।

আমাদের 2026-11-এর গবেষণায় robots.txt থাকা জনপ্রিয় সাইটগুলোর 2.7% এটি ব্লক করেছে। →

robots.txt টোকেন

Googlebot

ইউজার-এজেন্ট স্ট্রিং

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

আসল ভিজিট কীভাবে যাচাই করবেন

Google জানায় ইউজার এজেন্ট স্ট্রিং জাল করা যায় এবং দুই ধাপের DNS যাচাইয়ের সুপারিশ করে। অনুরোধকারী IP-তে একটি reverse DNS lookup চালান: হোস্টনেম googlebot.com, google.com বা googleusercontent.com দিয়ে শেষ হওয়া উচিত। তারপর সেই হোস্টনেমে একটি forward lookup চালান এবং নিশ্চিত করুন এটি একই IP দেয়। Google তার সাধারণ ক্রলারগুলোর IP রেঞ্জও JSON হিসেবে প্রকাশ করে, তাই আপনি স্বয়ংক্রিয়ভাবে ঠিকানা মেলাতে পারেন।

আপনার সাইট এটিকে ঢুকতে দেয় কি না চেক করুন →

AEO বনাম SEO: কী একই, আর AI উত্তরের জন্য কী বদলায় →