meta-externalagent

Meta · AI ટ્રેનિંગ

Meta-ExternalAgent એ Metaનો ક્રૉલર છે, જે ફાઉન્ડેશન AI મૉડલને ટ્રેન કરવા અને કન્ટેન્ટને સીધું index કરીને પ્રોડક્ટ સુધારવા જેવા ઉપયોગો માટે છે. Meta કહે છે કે તમે તેને robots.txtમાં disallowથી બ્લૉક કરી શકો છો. Meta AI સર્ચ બીજો ક્રૉલર, meta-webindexer, વાપરે છે, જેને આ નિયમ આવરી લેતો નથી.

તેને કેવી રીતે આવવા દેવો

User-agent: meta-externalagent
Allow: /

તેને કેવી રીતે બ્લૉક કરવો

User-agent: meta-externalagent
Disallow: /

તે શું કરે છે

Meta કહે છે કે Meta-ExternalAgent ક્રૉલર ફાઉન્ડેશન AI મૉડલને ટ્રેન કરવા કે કન્ટેન્ટને સીધું index કરીને પ્રોડક્ટ સુધારવા જેવા ઉપયોગો માટે વેબ ક્રૉલ કરે છે. Meta તેને બ્લૉક કરવાની રીત દસ્તાવેજિત કરે છે: robots.txtમાં meta-externalagent માટે disallow નિયમ ઉમેરો.

તે meta-webindexerથી અલગ છે, જેને Meta, Meta AIનાં સર્ચ પરિણામો સુધારવા વાપરે છે, અને Meta-ExternalFetcherથી પણ અલગ છે, જે યુઝરની વિનંતી પર લિંક મેળવે છે.

અમારા 2026-11ના અભ્યાસમાં, robots.txt ધરાવતી લોકપ્રિય સાઇટમાંથી 19.5% સાઇટે તેને બ્લૉક કર્યો હતો. →

robots.txt ટોકન

meta-externalagent

યુઝર-એજન્ટ સ્ટ્રિંગ

meta-externalagent/1.1

સાચી મુલાકાતો કેવી રીતે ચકાસવી

Meta તેના ક્રૉલર દસ્તાવેજમાં આ ક્રૉલર માટે IP રેન્જ કે reverse DNS પદ્ધતિ પ્રકાશિત કરતું નથી, તેથી ફક્ત યુઝર એજન્ટ મેળ ખાવાથી વિનંતી સાચી છે એ સાબિત થતું નથી. Meta તેના ક્રૉલર વિશેના પ્રશ્નો webmasters@meta.com પર મોકલવા કહે છે.

તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →

AI ક્રૉલર માટે robots.txt: શું મંજૂર કરવું, શું બ્લૉક કરવું →