Google-Extended
Google-Extended ایک robots.txt ٹوکن ہے، الگ کرالر نہیں۔ یہ کنٹرول کرتا ہے کہ Google کا کرال کیا گیا مواد آئندہ Gemini ماڈلز کی ٹریننگ اور Gemini Apps اور Vertex AI میں grounding کے لیے استعمال ہو سکتا ہے یا نہیں۔ Google کہتا ہے کہ یہ Google Search میں سائٹ کی شمولیت پر اثر نہیں ڈالتا۔
اسے اجازت کیسے دیں
User-agent: Google-Extended
Allow: / اسے بلاک کیسے کریں
User-agent: Google-Extended
Disallow: / یہ کیا کرتا ہے
Google-Extended کا اپنا کوئی یوزر ایجنٹ نہیں۔ کرالنگ Google کے موجودہ یوزر ایجنٹس سے ہوتی ہے، اور Google-Extended ٹوکن کنٹرول کے لیے استعمال ہوتا ہے: یہ Google کو بتاتا ہے کہ اس کا کرال کیا گیا مواد Gemini ماڈلز کی آئندہ نسلوں کی ٹریننگ اور Gemini Apps اور Vertex AI میں grounding کے لیے استعمال ہو سکتا ہے یا نہیں۔
Google کہتا ہے کہ Google-Extended، Google Search میں سائٹ کی شمولیت پر اثر نہیں ڈالتا۔ Search میں Google کے AI فیچرز، جیسے AI Overviews، Googlebot کے اصولوں اور snippet کنٹرولز کے تحت چلتے ہیں، اس ٹوکن کے تحت نہیں۔
ہماری 2026-11 کی تحقیق میں robots.txt والی مقبول سائٹس میں سے 18.1% نے اسے بلاک کیا۔ ←
robots.txt ٹوکن
Google-Extended
حقیقی وزٹس کی تصدیق کیسے کریں
آپ کے لاگز میں تصدیق کرنے کو کچھ نہیں: Google-Extended کبھی یوزر ایجنٹ کے طور پر ظاہر نہیں ہوتا۔ اس کے پیچھے کی درخواستیں Google کے عام کرالرز سے آتی ہیں، جن کی آپ reverse DNS lookup (googlebot.com، google.com یا googleusercontent.com) اور اس کے بعد forward lookup سے، یا Google کی شائع شدہ IP رینجز سے تصدیق کر سکتے ہیں۔