Google-CloudVertexBot
Google-CloudVertexBot ले Google Cloud मा Vertex AI Agents बनाउन साइट मालिकको अनुरोधमा साइट क्रल गर्छ। Google भन्छ, यसका robots.txt नियमले Google Search वा अन्य उत्पादनमा कुनै असर गर्दैनन्। तपाईं वा कुनै Google Cloud ग्राहकले तपाईंको साइटलाई एजेन्टको डेटा स्रोतका रूपमा प्रयोग गर्छ भने मात्र यसलाई ब्लक गर्नु अर्थपूर्ण हुन्छ।
यसलाई कसरी अनुमति दिने
User-agent: Google-CloudVertexBot
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: Google-CloudVertexBot
Disallow: / यसले के गर्छ
Google भन्छ, Google-CloudVertexBot लाई सम्बोधन गरिएका क्रल प्राथमिकताले Vertex AI Agents बनाउन साइट मालिकले अनुरोध गरेका क्रललाई असर गर्छन्। यसले Google Search वा अन्य Google उत्पादनमा कुनै असर गर्दैन। यसको user agent मा Google-CloudVertexBot substring हुन्छ।
robots.txt मा यसले Google-CloudVertexBot टोकनका नियम पालना गर्छ, र ती नभए Googlebot का नियम। Google ले यसलाई आफ्ना सामान्य क्रलरमा राख्छ, जसले स्वचालित रूपमा क्रल गर्दा सधैँ robots.txt पालना गर्छन्।
robots.txt टोकन
Google-CloudVertexBot
वास्तविक भ्रमण कसरी प्रमाणित गर्ने
Google भन्छ user agent string नक्कली बनाउन सकिन्छ र दुई चरणको DNS जाँच सिफारिस गर्छ। अनुरोध गर्ने IP मा reverse DNS lookup चलाउनुहोस्: hostname googlebot.com, google.com वा googleusercontent.com मा अन्त्य हुनुपर्छ। त्यसपछि त्यो hostname मा forward lookup चलाउनुहोस् र यसले उही IP फर्काउँछ भनी पक्का गर्नुहोस्। Google ले आफ्ना सामान्य क्रलरका IP दायरा पनि JSON मा प्रकाशित गर्छ, त्यसैले तपाईं ठेगाना स्वचालित रूपमा मिलाउन सक्नुहुन्छ।