meta-externalagent
Meta-ExternalAgent، Meta کا کرالر ہے جو بنیادی AI ماڈلز کی ٹریننگ اور مواد کو براہ راست انڈیکس کر کے پروڈکٹس بہتر بنانے جیسے کاموں کے لیے ہے۔ Meta کہتا ہے کہ آپ اسے robots.txt میں disallow سے بلاک کر سکتے ہیں۔ Meta AI سرچ ایک مختلف کرالر، meta-webindexer، استعمال کرتی ہے، جس کا یہ اصول احاطہ نہیں کرتا۔
اسے اجازت کیسے دیں
User-agent: meta-externalagent
Allow: / اسے بلاک کیسے کریں
User-agent: meta-externalagent
Disallow: / یہ کیا کرتا ہے
Meta کہتا ہے کہ Meta-ExternalAgent کرالر بنیادی AI ماڈلز کی ٹریننگ یا مواد کو براہ راست انڈیکس کر کے پروڈکٹس بہتر بنانے جیسے کاموں کے لیے ویب کرال کرتا ہے۔ Meta اسے بلاک کرنے کا طریقہ یہ بتاتا ہے کہ robots.txt میں meta-externalagent کے لیے disallow اصول شامل کیا جائے۔
یہ meta-webindexer سے الگ ہے، جسے Meta، Meta AI کے سرچ نتائج بہتر بنانے کے لیے استعمال کرتا ہے، اور Meta-ExternalFetcher سے بھی، جو صارف کی درخواست پر لنکس منگواتا ہے۔
ہماری 2026-11 کی تحقیق میں robots.txt والی مقبول سائٹس میں سے 19.5% نے اسے بلاک کیا۔ ←
robots.txt ٹوکن
meta-externalagent
یوزر ایجنٹ string
meta-externalagent/1.1 حقیقی وزٹس کی تصدیق کیسے کریں
Meta اپنی کرالر دستاویزات میں اس کرالر کے لیے IP رینجز یا reverse DNS کا طریقہ شائع نہیں کرتا، اس لیے صرف یوزر ایجنٹ کا میل یہ ثابت نہیں کر سکتا کہ درخواست حقیقی ہے۔ Meta اپنے کرالرز کے بارے میں سوالات کے لیے webmasters@meta.com کا پتہ دیتا ہے۔