Google-CloudVertexBot
Google-CloudVertexBot সাইটের মালিকদের অনুরোধে Google Cloud-এ Vertex AI Agents তৈরির জন্য সাইট ক্রল করে। Google জানায় এর robots.txt রুল Google Search বা অন্য প্রোডাক্টে কোনো প্রভাব ফেলে না। এটি ব্লক করা তখনই গুরুত্বপূর্ণ যখন আপনি বা কোনো Google Cloud গ্রাহক আপনার সাইটকে একটি এজেন্টের ডেটা সোর্স হিসেবে ব্যবহার করেন।
কীভাবে অনুমতি দেবেন
User-agent: Google-CloudVertexBot
Allow: / কীভাবে ব্লক করবেন
User-agent: Google-CloudVertexBot
Disallow: / এটি কী করে
Google জানায়, Google-CloudVertexBot-এর উদ্দেশে দেওয়া ক্রলিংয়ের পছন্দ Vertex AI Agents তৈরির জন্য সাইটের মালিকদের অনুরোধ করা ক্রলকে প্রভাবিত করে। এটি Google Search বা Google-এর অন্য প্রোডাক্টে কোনো প্রভাব ফেলে না। এর ইউজার এজেন্টে Google-CloudVertexBot সাবস্ট্রিংটি থাকে।
robots.txt-এ এটি Google-CloudVertexBot টোকেনের রুল মানে, আর সেগুলো না থাকলে Googlebot-এর রুল। Google এটিকে তার সাধারণ ক্রলারগুলোর তালিকায় রাখে, যেগুলো স্বয়ংক্রিয়ভাবে ক্রল করার সময় সবসময় robots.txt মানে।
robots.txt টোকেন
Google-CloudVertexBot
আসল ভিজিট কীভাবে যাচাই করবেন
Google জানায় ইউজার এজেন্ট স্ট্রিং জাল করা যায় এবং দুই ধাপের DNS যাচাইয়ের সুপারিশ করে। অনুরোধকারী IP-তে একটি reverse DNS lookup চালান: হোস্টনেম googlebot.com, google.com বা googleusercontent.com দিয়ে শেষ হওয়া উচিত। তারপর সেই হোস্টনেমে একটি forward lookup চালান এবং নিশ্চিত করুন এটি একই IP দেয়। Google তার সাধারণ ক্রলারগুলোর IP রেঞ্জও JSON হিসেবে প্রকাশ করে, তাই আপনি স্বয়ংক্রিয়ভাবে ঠিকানা মেলাতে পারেন।