meta-externalfetcher
प्रयोगकर्ताले माग्दा Meta-ExternalFetcher ले छुट्टाछुट्टै लिंक ल्याउँछ, जस्तै मानिसलाई वेबसाइटमा काम पूरा गर्न मद्दत गर्ने agentic AI लाई सघाउन। Meta भन्छ, यसले प्रयोगकर्ताले अनुरोध गरेका फेच गर्ने भएकाले robots.txt छल्न सक्छ, त्यसैले फायरवाल नियमले मात्र यसलाई भरपर्दो रूपमा रोक्छ।
यसलाई कसरी अनुमति दिने
User-agent: meta-externalfetcher
Allow: / यसलाई कसरी ब्लक गर्ने
User-agent: meta-externalfetcher
Disallow: / यसले के गर्छ
Meta भन्छ, Meta-ExternalFetcher ले उत्पादनका कार्यलाई सघाउन, जस्तै प्रयोगकर्तालाई वेबसाइटमा काम पूरा गर्न मद्दत गर्ने agentic AI, छुट्टाछुट्टै लिंकको प्रयोगकर्ताले सुरु गरेको फेच गर्छ। यो सामान्य क्रलर होइन।
Meta भन्छ, यी फेच प्रयोगकर्ताले अनुरोध गरेका भएकाले Meta-ExternalFetcher ले robots.txt छल्न सक्छ। फायरवालमा यसलाई ब्लक गर्दा ती फेच असफल हुन्छन्।
robots.txt टोकन
meta-externalfetcher
User-agent string
meta-externalfetcher/1.1 वास्तविक भ्रमण कसरी प्रमाणित गर्ने
Meta ले आफ्नो क्रलर कागजातमा यो फेचरका लागि IP दायरा वा reverse DNS विधि प्रकाशित गर्दैन, त्यसैले user agent मिल्नुले मात्र अनुरोध वास्तविक हो भनी प्रमाणित गर्न सक्दैन। Meta ले आफ्ना क्रलरबारे प्रश्न webmasters@meta.com मा पठाउन भन्छ।