meta-externalagent

Meta · AI ट्रेनिङ

Meta-ExternalAgent foundation AI मोडलको ट्रेनिङ र सामग्री सिधै इन्डेक्स गरेर उत्पादन सुधार्ने जस्ता प्रयोगका लागि Meta को क्रलर हो। Meta भन्छ, robots.txt disallow बाट यसलाई ब्लक गर्न सकिन्छ। Meta AI सर्चले फरक क्रलर, meta-webindexer, प्रयोग गर्छ, जसलाई यो नियमले समेट्दैन।

यसलाई कसरी अनुमति दिने

User-agent: meta-externalagent
Allow: /

यसलाई कसरी ब्लक गर्ने

User-agent: meta-externalagent
Disallow: /

यसले के गर्छ

Meta भन्छ, Meta-ExternalAgent क्रलरले foundation AI मोडलको ट्रेनिङ वा सामग्री सिधै इन्डेक्स गरेर उत्पादन सुधार्ने जस्ता प्रयोगका लागि वेब क्रल गर्छ। Meta ले robots.txt मा meta-externalagent का लागि disallow नियम थपेर यसलाई ब्लक गर्ने तरिका दस्तावेज गरेको छ।

यो Meta AI सर्च नतिजा सुधार्न Meta ले प्रयोग गर्ने meta-webindexer, र प्रयोगकर्ताको अनुरोधमा लिंक ल्याउने Meta-ExternalFetcher भन्दा छुट्टै छ।

हाम्रो 2026-11 को अध्ययनमा robots.txt भएका लोकप्रिय साइटमध्ये 19.5% ले यसलाई ब्लक गरेका थिए। →

robots.txt टोकन

meta-externalagent

User-agent string

meta-externalagent/1.1

वास्तविक भ्रमण कसरी प्रमाणित गर्ने

Meta ले आफ्नो क्रलर कागजातमा यसका लागि IP दायरा वा reverse DNS विधि प्रकाशित गर्दैन, त्यसैले user agent मिल्नुले मात्र अनुरोध वास्तविक हो भनी प्रमाणित गर्न सक्दैन। Meta ले आफ्ना क्रलरबारे प्रश्न webmasters@meta.com मा पठाउन भन्छ।

तपाईंको साइटले यसलाई भित्र आउन दिन्छ कि जाँच्नुहोस् →

AI क्रलरका लागि robots.txt: केलाई अनुमति दिने, के ब्लक गर्ने →