meta-externalagent
Meta-ExternalAgent Meta का क्रॉलर है, जो AI फ़ाउंडेशन मॉडलों की ट्रेनिंग और कंटेंट को सीधे इंडेक्स करके उत्पादों को बेहतर बनाने जैसे उपयोगों के लिए है। Meta के अनुसार आप इसे robots.txt के disallow नियम से ब्लॉक कर सकते हैं। Meta AI सर्च एक अलग क्रॉलर, meta-webindexer, का उपयोग करता है, जिसे यह नियम कवर नहीं करता।
यह क्या करता है
Meta के अनुसार Meta-ExternalAgent क्रॉलर AI फ़ाउंडेशन मॉडलों की ट्रेनिंग या कंटेंट को सीधे इंडेक्स करके उत्पादों को बेहतर बनाने जैसे उपयोगों के लिए वेब क्रॉल करता है। Meta इसे ब्लॉक करने का तरीका बताती है: robots.txt में meta-externalagent के लिए disallow नियम जोड़ें।
यह meta-webindexer से अलग है, जिसका उपयोग Meta, Meta AI के सर्च नतीजे बेहतर करने के लिए करती है, और Meta-ExternalFetcher से भी अलग है, जो उपयोगकर्ता के अनुरोध पर लिंक फ़ेच करता है।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 19.5% ने इसे ब्लॉक किया था। →
robots.txt टोकन
meta-externalagent
User-agent स्ट्रिंग
meta-externalagent/1.1इसे अनुमति कैसे दें
User-agent: meta-externalagent
Allow: /इसे ब्लॉक कैसे करें
User-agent: meta-externalagent
Disallow: /असली विज़िट कैसे सत्यापित करें
Meta अपने क्रॉलर दस्तावेज़ में इस क्रॉलर के लिए IP रेंज या रिवर्स DNS तरीका प्रकाशित नहीं करती, इसलिए केवल user agent का मिलान यह साबित नहीं कर सकता कि अनुरोध असली है। Meta अपने क्रॉलरों से जुड़े सवाल webmasters@meta.com पर भेजने को कहती है।