Google-Extended
Google-Extended छुट्टै क्रलर होइन, robots.txt टोकन हो। Google ले क्रल गरेको सामग्री भावी Gemini मोडलको ट्रेनिङ र Gemini Apps तथा Vertex AI मा grounding का लागि प्रयोग गर्न पाइन्छ कि पाइँदैन यसले नियन्त्रण गर्छ। Google भन्छ, यसले Google Search मा साइट समावेश हुनेमा असर गर्दैन।
यसलाई कसरी अनुमति दिने
User-agent: Google-Extended
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: Google-Extended
Disallow: / यसले के गर्छ
Google-Extended को आफ्नै user agent छैन। क्रल Google का विद्यमान user agent ले गरिन्छ, र Google-Extended टोकन नियन्त्रणका लागि प्रयोग हुन्छ: Google ले क्रल गरेको सामग्री Gemini मोडलका भावी पुस्ताको ट्रेनिङ र Gemini Apps तथा Vertex AI मा grounding का लागि प्रयोग गर्न पाइन्छ कि पाइँदैन यसले बताउँछ।
Google भन्छ, Google-Extended ले Google Search मा साइट समावेश हुनेमा असर गर्दैन। AI Overviews जस्ता Search का Google AI सुविधा यो टोकनले होइन, Googlebot का नियम र snippet नियन्त्रणले सञ्चालित हुन्छन्।
हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 18.1% ले यसलाई ब्लक गरेका थिए। →
robots.txt टोकन
Google-Extended
वास्तविक भ्रमण कसरी प्रमाणित गर्ने
तपाईंका लगमा प्रमाणित गर्ने केही छैन: Google-Extended कहिल्यै user agent का रूपमा देखिँदैन। यसपछाडिका अनुरोध Google का नियमित क्रलरबाट आउँछन्, जसलाई तपाईं reverse DNS lookup (googlebot.com, google.com वा googleusercontent.com) र त्यसपछि forward lookup बाट, वा Google का प्रकाशित IP दायरासँग मिलाएर प्रमाणित गर्न सक्नुहुन्छ।
तपाईंको साइटले यसलाई भित्र आउन दिन्छ कि जाँच्नुहोस् →
AI क्रलरका लागि robots.txt: केलाई अनुमति दिने, के ब्लक गर्ने →