Google-Extended

Google · AI ट्रेनिंग

Google-Extended हा robots.txt टोकन आहे, वेगळा क्रॉलर नाही. Google ने क्रॉल केलेला मजकूर भविष्यातील Gemini मॉडेलच्या ट्रेनिंगसाठी आणि Gemini Apps व Vertex AI मध्ये grounding साठी वापरता येईल की नाही हे तो नियंत्रित करतो. Google सांगते की त्याचा Google Search मध्ये साइटच्या समावेशावर परिणाम होत नाही.

त्याला परवानगी कशी द्यावी

User-agent: Google-Extended
Allow: /

त्याला ब्लॉक कसे करावे

User-agent: Google-Extended
Disallow: /

तो काय करतो

Google-Extended चा स्वतःचा कोणताही युजर एजंट नाही. क्रॉलिंग Google च्या सध्याच्या युजर एजंटद्वारे होते, आणि Google-Extended टोकन नियंत्रणासाठी वापरला जातो: Google ने क्रॉल केलेला मजकूर Gemini मॉडेलच्या भविष्यातील पिढ्यांच्या ट्रेनिंगसाठी आणि Gemini Apps व Vertex AI मध्ये grounding साठी वापरता येईल का हे तो Google ला सांगतो.

Google सांगते की Google-Extended चा Google Search मध्ये साइटच्या समावेशावर परिणाम होत नाही. AI Overviews सारखी Google Search मधील AI वैशिष्ट्ये या टोकनद्वारे नव्हे, तर Googlebot नियम आणि snippet नियंत्रणांद्वारे नियंत्रित होतात.

आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 18.1% साइटनी त्याला ब्लॉक केले. →

robots.txt टोकन

Google-Extended

खऱ्या भेटींची पडताळणी कशी करावी

तुमच्या लॉगमध्ये पडताळण्यासारखे काहीच नाही: Google-Extended कधीच युजर एजंट म्हणून दिसत नाही. त्यामागील विनंत्या Google च्या नेहमीच्या क्रॉलरकडून येतात, ज्यांची पडताळणी तुम्ही reverse DNS lookup (googlebot.com, google.com किंवा googleusercontent.com) आणि त्यानंतर forward lookup ने, किंवा Google च्या प्रकाशित IP रेंजशी जुळवून करू शकता.

तुमची साइट त्याला आत येऊ देते का ते तपासा →

AI क्रॉलरसाठी robots.txt: कशाला परवानगी द्यावी, काय ब्लॉक करावे →