Google-CloudVertexBot
يزحف Google-CloudVertexBot إلى المواقع بناءً على طلب أصحابها لبناء وكلاء Vertex AI في Google Cloud. تقول Google إن قواعد robots.txt الخاصة به لا تؤثر في بحث Google ولا في منتجات أخرى. ولا يهم حجبه إلا إذا كنت أنت أو أحد عملاء Google Cloud تستخدمون موقعك مصدرًا لبيانات وكيل.
ما الذي يفعله
تقول Google إن تفضيلات الزحف الموجّهة إلى Google-CloudVertexBot تؤثر في عمليات الزحف التي يطلبها أصحاب المواقع لبناء وكلاء Vertex AI. وليس لها أي تأثير في بحث Google أو منتجات Google الأخرى. ويحتوي وكيل المستخدم الخاص به على السلسلة الجزئية Google-CloudVertexBot.
في robots.txt يتبع قواعد الرمز Google-CloudVertexBot، وإن لم توجد فقواعد Googlebot. وتدرجه Google ضمن زواحفها الشائعة التي تلتزم دائمًا بملف robots.txt عند الزحف التلقائي.
رمز robots.txt
Google-CloudVertexBot
كيف تسمح به
User-agent: Google-CloudVertexBot
Allow: /كيف تحجبه
User-agent: Google-CloudVertexBot
Disallow: /كيف تتحقق من الزيارات الحقيقية
تقول Google إن سلاسل وكيل المستخدم يمكن انتحالها، وتوصي بفحص DNS على خطوتين. أجرِ بحث DNS عكسيًا على عنوان IP الطالب: يجب أن ينتهي اسم المضيف بـ googlebot.com أو google.com أو googleusercontent.com. ثم أجرِ بحثًا أماميًا على اسم المضيف هذا وتأكد من أنه يعيد عنوان IP نفسه. وتنشر Google أيضًا نطاقات IP لزواحفها الشائعة بصيغة JSON، فيمكنك مطابقة العناوين تلقائيًا.