Google-CloudVertexBot

Google · उपयोगकर्ता के अनुरोध पर फ़ेच

Google-CloudVertexBot साइट मालिकों के अनुरोध पर साइटें क्रॉल करता है, ताकि Google Cloud पर Vertex AI एजेंट बनाए जा सकें। Google के अनुसार इसके robots.txt नियमों का Google Search या अन्य उत्पादों पर कोई असर नहीं पड़ता। इसे ब्लॉक करना तभी मायने रखता है जब आप या Google Cloud का कोई ग्राहक आपकी साइट को किसी एजेंट के डेटा स्रोत के रूप में इस्तेमाल करे।

यह क्या करता है

Google के अनुसार Google-CloudVertexBot को दी गई क्रॉलिंग प्राथमिकताएँ उन क्रॉल को प्रभावित करती हैं जो साइट मालिकों ने Vertex AI एजेंट बनाने के लिए माँगे हैं। इसका Google Search या Google के अन्य उत्पादों पर कोई असर नहीं पड़ता। इसके user agent में Google-CloudVertexBot सबस्ट्रिंग होती है।

robots.txt में यह Google-CloudVertexBot टोकन के नियमों का पालन करता है और, अगर वे नहीं हैं, तो Googlebot के नियमों का। Google इसे अपने सामान्य क्रॉलरों में गिनती है, जो स्वचालित क्रॉलिंग में हमेशा robots.txt का पालन करते हैं।

robots.txt टोकन

Google-CloudVertexBot

इसे अनुमति कैसे दें

User-agent: Google-CloudVertexBot
Allow: /

इसे ब्लॉक कैसे करें

User-agent: Google-CloudVertexBot
Disallow: /

असली विज़िट कैसे सत्यापित करें

Google के अनुसार user agent स्ट्रिंग की नकल की जा सकती है, और वह दो चरणों में DNS जाँच की सलाह देती है। अनुरोध भेजने वाले IP पर रिवर्स DNS लुकअप करें: होस्टनाम googlebot.com, google.com या googleusercontent.com पर खत्म होना चाहिए। फिर उस होस्टनाम पर फ़ॉरवर्ड लुकअप करें और पुष्टि करें कि वह वही IP लौटाता है। Google अपने सामान्य क्रॉलरों की IP रेंज JSON में भी प्रकाशित करती है, जिससे आप पतों का मिलान अपने-आप कर सकते हैं।

जाँचें कि आपकी साइट इसे अंदर आने देती है या नहीं →