meta-externalfetcher
Meta-ExternalFetcher उपयोगकर्ता के कहने पर अलग-अलग लिंक फ़ेच करता है, जैसे उस एजेंटिक AI को सहारा देने के लिए जो लोगों को वेबसाइटों पर काम पूरे करने में मदद करता है। Meta के अनुसार यह robots.txt को बायपास कर सकता है, क्योंकि यह वे फ़ेच करता है जो उपयोगकर्ताओं ने माँगे हैं, इसलिए इसे केवल फ़ायरवॉल नियम ही भरोसेमंद ढंग से रोकता है।
यह क्या करता है
Meta के अनुसार Meta-ExternalFetcher उत्पाद के कार्यों को सहारा देने के लिए अलग-अलग लिंक के उपयोगकर्ता-प्रारंभित फ़ेच करता है, जैसे वह एजेंटिक AI जो उपयोगकर्ताओं को वेबसाइटों पर काम पूरे करने में मदद करता है। यह सामान्य क्रॉलर नहीं है।
Meta बताती है कि ये फ़ेच उपयोगकर्ता ने माँगे हैं, इसलिए Meta-ExternalFetcher robots.txt को बायपास कर सकता है। इसे फ़ायरवॉल पर ब्लॉक करने से वे फ़ेच विफल हो जाते हैं।
robots.txt टोकन
meta-externalfetcher
User-agent स्ट्रिंग
meta-externalfetcher/1.1इसे अनुमति कैसे दें
User-agent: meta-externalfetcher
Allow: /इसे ब्लॉक कैसे करें
User-agent: meta-externalfetcher
Disallow: /असली विज़िट कैसे सत्यापित करें
Meta अपने क्रॉलर दस्तावेज़ में इस फ़ेचर के लिए IP रेंज या रिवर्स DNS तरीका प्रकाशित नहीं करती, इसलिए केवल user agent का मिलान यह साबित नहीं कर सकता कि अनुरोध असली है। Meta अपने क्रॉलरों से जुड़े सवाल webmasters@meta.com पर भेजने को कहती है।