Google-Extended
Google-Extended एक robots.txt टोकन है, अलग क्रॉलर नहीं। यह तय करता है कि Google द्वारा क्रॉल किया गया कंटेंट भावी Gemini मॉडलों की ट्रेनिंग और Gemini ऐप्स तथा Vertex AI में ग्राउंडिंग के लिए इस्तेमाल हो सकता है या नहीं। Google के अनुसार यह Google Search में साइट के शामिल होने को प्रभावित नहीं करता।
यह क्या करता है
Google-Extended का अपना कोई user agent नहीं है। क्रॉलिंग Google के मौजूदा user agent से होती है, और Google-Extended टोकन का उपयोग नियंत्रण के रूप में होता है: यह Google को बताता है कि उसका क्रॉल किया हुआ कंटेंट Gemini मॉडलों की भावी पीढ़ियों की ट्रेनिंग और Gemini ऐप्स तथा Vertex AI में ग्राउंडिंग के लिए इस्तेमाल हो सकता है या नहीं।
Google बताती है कि Google-Extended Google Search में साइट के शामिल होने को प्रभावित नहीं करता। Search की AI सुविधाएँ, जैसे AI Overviews, Googlebot के नियमों और स्निपेट नियंत्रणों से तय होती हैं, इस टोकन से नहीं।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 18.1% ने इसे ब्लॉक किया था। →
robots.txt टोकन
Google-Extended
इसे अनुमति कैसे दें
User-agent: Google-Extended
Allow: /इसे ब्लॉक कैसे करें
User-agent: Google-Extended
Disallow: /असली विज़िट कैसे सत्यापित करें
आपके लॉग में सत्यापित करने के लिए कुछ नहीं है: Google-Extended कभी user agent के रूप में नहीं दिखता। इसके पीछे के अनुरोध Google के सामान्य क्रॉलरों से आते हैं, जिन्हें आप रिवर्स DNS लुकअप (googlebot.com, google.com या googleusercontent.com) और उसके बाद फ़ॉरवर्ड लुकअप से, या Google की प्रकाशित IP रेंज से मिलाकर सत्यापित कर सकते हैं।