Googlebot

Google · سرچ انجن

Googlebot، Google کا مرکزی کرالر ہے جو اس کے سرچ انڈیکس بناتا ہے۔ Google کہتا ہے کہ Googlebot کے لیے robots.txt کے اصول ہی یہ کنٹرول کرتے ہیں کہ Search کے لیے سائٹ کیسے کرال ہو، بشمول AI Overviews اور AI Mode جیسے AI فیچرز کے۔ اسے بلاک کرنے سے آپ کے صفحات Google Search اور ان AI جوابات سے نکل جاتے ہیں۔

اسے اجازت کیسے دیں

User-agent: Googlebot
Allow: /

اسے بلاک کیسے کریں

User-agent: Googlebot
Disallow: /

یہ کیا کرتا ہے

Googlebot، Google کے سرچ انڈیکس بنانے کے لیے معلومات تلاش کرنے میں استعمال ہوتا ہے۔ Googlebot ٹوکن کے لیے کرالنگ کی ترجیحات Google Search اور Google Images، Video، Google News اور Discover جیسی پروڈکٹس پر اثر ڈالتی ہیں۔ یہ اسمارٹ فون اور ڈیسک ٹاپ کرالر کے طور پر چلتا ہے؛ دونوں Googlebot کے انہی اصولوں کی پابندی کرتے ہیں، اور Google کہتا ہے کہ اس کے عام کرالرز خودکار کرالنگ کے دوران ہمیشہ robots.txt کی پابندی کرتے ہیں۔

AI فیچرز سے متعلق Google کی دستاویزات Googlebot کے اصولوں کو Search کا کنٹرول بتاتی ہیں، بشمول AI Overviews اور AI Mode، اور دکھائی جانے والی چیز محدود کرنے کے لیے nosnippet، data-nosnippet، max-snippet اور noindex کی طرف اشارہ کرتی ہیں۔ Gemini ٹریننگ میں استعمال Google-Extended سے الگ کنٹرول ہوتا ہے۔

ہماری 2026-11 کی تحقیق میں robots.txt والی مقبول سائٹس میں سے 2.7% نے اسے بلاک کیا۔ ←

robots.txt ٹوکن

Googlebot

یوزر ایجنٹ string

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

حقیقی وزٹس کی تصدیق کیسے کریں

Google کہتا ہے کہ یوزر ایجنٹ strings جعلی ہو سکتی ہیں اور دو مرحلوں والی DNS جانچ کی سفارش کرتا ہے۔ درخواست کرنے والے IP پر reverse DNS lookup چلائیں: ہوسٹ نام googlebot.com، google.com یا googleusercontent.com پر ختم ہونا چاہیے۔ پھر اس ہوسٹ نام پر forward lookup چلائیں اور تصدیق کریں کہ یہ وہی IP لوٹاتا ہے۔ Google اپنے عام کرالرز کی IP رینجز بھی JSON کے طور پر شائع کرتا ہے، اس لیے آپ پتوں کا خودکار موازنہ کر سکتے ہیں۔

دیکھیں کہ آپ کی سائٹ اسے آنے دیتی ہے یا نہیں ←

AEO بمقابلہ SEO: AI جوابات کے لیے کیا یکساں ہے اور کیا بدلتا ہے ←