meta-externalagent
Meta-ExternalAgent हा foundation AI models चे ट्रेनिंग आणि मजकूर थेट इंडेक्स करून उत्पादने सुधारणे यासारख्या वापरांसाठीचा Meta चा क्रॉलर आहे. Meta सांगते की तुम्ही त्याला robots.txt मधील disallow ने ब्लॉक करू शकता. Meta AI सर्च meta-webindexer हा वेगळा क्रॉलर वापरते, जो या नियमात समाविष्ट नाही.
त्याला परवानगी कशी द्यावी
User-agent: meta-externalagent
Allow: / त्याला ब्लॉक कसे करावे
User-agent: meta-externalagent
Disallow: / तो काय करतो
Meta सांगते की Meta-ExternalAgent क्रॉलर foundation AI models चे ट्रेनिंग किंवा मजकूर थेट इंडेक्स करून उत्पादने सुधारणे यासारख्या वापरांसाठी वेब क्रॉल करतो. Meta robots.txt मध्ये meta-externalagent साठी disallow नियम जोडून त्याला ब्लॉक करण्याचे वर्णन करते.
तो Meta AI सर्च निकाल सुधारण्यासाठी Meta वापरत असलेल्या meta-webindexer पेक्षा, आणि वापरकर्त्याच्या विनंतीवरून लिंक मिळवणाऱ्या Meta-ExternalFetcher पेक्षा वेगळा आहे.
आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 19.5% साइटनी त्याला ब्लॉक केले. →
robots.txt टोकन
meta-externalagent
युजर-एजंट स्ट्रिंग
meta-externalagent/1.1 खऱ्या भेटींची पडताळणी कशी करावी
Meta आपल्या क्रॉलर दस्तऐवजांमध्ये या क्रॉलरसाठी IP रेंज किंवा reverse DNS पद्धत प्रकाशित करत नाही, त्यामुळे फक्त युजर एजंट जुळल्याने विनंती खरी असल्याचे सिद्ध होत नाही. Meta आपल्या क्रॉलरबद्दलचे प्रश्न webmasters@meta.com कडे पाठवायला सांगते.
तुमची साइट त्याला आत येऊ देते का ते तपासा →
AI क्रॉलरसाठी robots.txt: कशाला परवानगी द्यावी, काय ब्लॉक करावे →