Google-CloudVertexBot
Google-CloudVertexBot Google Cloud वर Vertex AI Agents तयार करण्यासाठी साइट मालकांच्या विनंतीवरून साइट क्रॉल करतो. Google सांगते की त्याच्या robots.txt नियमांचा Google Search किंवा इतर उत्पादनांवर काहीही परिणाम होत नाही. तुम्ही किंवा Google Cloud ग्राहक तुमची साइट एजंटचा डेटा स्रोत म्हणून वापरत असाल तरच त्याला ब्लॉक करणे महत्त्वाचे ठरते.
त्याला परवानगी कशी द्यावी
User-agent: Google-CloudVertexBot
Allow: / त्याला ब्लॉक कसे करावे
User-agent: Google-CloudVertexBot
Disallow: / तो काय करतो
Google सांगते की Google-CloudVertexBot ला उद्देशून दिलेली क्रॉलिंग प्राधान्ये Vertex AI Agents तयार करण्यासाठी साइट मालकांनी मागितलेल्या क्रॉलवर परिणाम करतात. त्याचा Google Search किंवा इतर Google उत्पादनांवर परिणाम होत नाही. त्याच्या युजर एजंटमध्ये Google-CloudVertexBot ही substring असते.
robots.txt मध्ये तो Google-CloudVertexBot टोकनसाठीचे नियम पाळतो, आणि ते नसल्यास Googlebot साठीचे नियम. Google त्याला आपल्या common crawlers मध्ये गणते, जे स्वयंचलितपणे क्रॉल करताना नेहमी robots.txt पाळतात.
robots.txt टोकन
Google-CloudVertexBot
खऱ्या भेटींची पडताळणी कशी करावी
Google सांगते की युजर एजंट स्ट्रिंग बनावट असू शकतात आणि दोन टप्प्यांची DNS तपासणी सुचवते. विनंती करणाऱ्या IP वर reverse DNS lookup चालवा: hostname googlebot.com, google.com किंवा googleusercontent.com ने संपला पाहिजे. मग त्या hostname वर forward lookup चालवा आणि तो तोच IP देतो याची खात्री करा. Google आपल्या common crawlers च्या IP रेंज JSON म्हणून प्रकाशित करते, त्यामुळे तुम्ही पत्ते स्वयंचलितपणे जुळवू शकता.