Google-CloudVertexBot
Google-CloudVertexBot سائٹ مالکان کی درخواست پر Google Cloud پر Vertex AI Agents بنانے کے لیے سائٹس کرال کرتا ہے۔ Google کہتا ہے کہ اس کے robots.txt اصولوں کا Google Search یا دوسری پروڈکٹس پر کوئی اثر نہیں۔ اسے بلاک کرنا صرف تب اہم ہے جب آپ یا Google Cloud کا کوئی صارف آپ کی سائٹ کو کسی ایجنٹ کے ڈیٹا ماخذ کے طور پر استعمال کرے۔
اسے اجازت کیسے دیں
User-agent: Google-CloudVertexBot
Allow: / اسے بلاک کیسے کریں
User-agent: Google-CloudVertexBot
Disallow: / یہ کیا کرتا ہے
Google کہتا ہے کہ Google-CloudVertexBot کے لیے کرالنگ کی ترجیحات ان کرالز پر اثر ڈالتی ہیں جن کی درخواست سائٹ مالکان Vertex AI Agents بنانے کے لیے کرتے ہیں۔ اس کا Google Search یا Google کی دوسری پروڈکٹس پر کوئی اثر نہیں۔ اس کے یوزر ایجنٹ میں Google-CloudVertexBot کا حصہ شامل ہوتا ہے۔
robots.txt میں یہ Google-CloudVertexBot ٹوکن کے اصولوں کی، اور اگر وہ نہ ہوں تو Googlebot کے اصولوں کی پیروی کرتا ہے۔ Google اسے اپنے عام کرالرز میں شمار کرتا ہے، جو خودکار کرالنگ کے دوران ہمیشہ robots.txt کی پابندی کرتے ہیں۔
robots.txt ٹوکن
Google-CloudVertexBot
حقیقی وزٹس کی تصدیق کیسے کریں
Google کہتا ہے کہ یوزر ایجنٹ strings جعلی ہو سکتی ہیں اور دو مرحلوں والی DNS جانچ کی سفارش کرتا ہے۔ درخواست کرنے والے IP پر reverse DNS lookup چلائیں: ہوسٹ نام googlebot.com، google.com یا googleusercontent.com پر ختم ہونا چاہیے۔ پھر اس ہوسٹ نام پر forward lookup چلائیں اور تصدیق کریں کہ یہ وہی IP لوٹاتا ہے۔ Google اپنے عام کرالرز کی IP رینجز بھی JSON کے طور پر شائع کرتا ہے، اس لیے آپ پتوں کا خودکار موازنہ کر سکتے ہیں۔