meta-externalagent

Meta · AI ట్రైనింగ్

Meta-ExternalAgent అనేది ఫౌండేషన్ AI మోడల్‌ల ట్రైనింగ్, కంటెంట్‌ను నేరుగా ఇండెక్స్ చేసి ప్రోడక్ట్‌లను మెరుగుపరచడం వంటి ఉపయోగాల కోసం Meta క్రాలర్. robots.txt disallowతో దీన్ని బ్లాక్ చేయవచ్చని Meta చెబుతుంది. Meta AI సెర్చ్ వేరే క్రాలర్ meta-webindexerను ఉపయోగిస్తుంది, ఈ నియమం దాన్ని కవర్ చేయదు.

దీన్ని ఎలా అనుమతించాలి

User-agent: meta-externalagent
Allow: /

దీన్ని ఎలా బ్లాక్ చేయాలి

User-agent: meta-externalagent
Disallow: /

ఇది ఏమి చేస్తుంది

ఫౌండేషన్ AI మోడల్‌ల ట్రైనింగ్ లేదా కంటెంట్‌ను నేరుగా ఇండెక్స్ చేసి ప్రోడక్ట్‌లను మెరుగుపరచడం వంటి ఉపయోగాల కోసం Meta-ExternalAgent క్రాలర్ వెబ్‌ను క్రాల్ చేస్తుందని Meta చెబుతుంది. robots.txtకు meta-externalagent కోసం disallow నియమాన్ని జోడించి దాన్ని బ్లాక్ చేయడాన్ని Meta డాక్యుమెంట్ చేస్తుంది.

Meta AI సెర్చ్ ఫలితాలను మెరుగుపరచడానికి Meta ఉపయోగించే meta-webindexer నుంచి, యూజర్ అభ్యర్థన మేరకు లింక్‌లను తెచ్చుకునే Meta-ExternalFetcher నుంచి ఇది వేరు.

మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్‌లలో 19.5% దీన్ని బ్లాక్ చేశాయి. →

robots.txt టోకెన్

meta-externalagent

యూజర్ ఏజెంట్ స్ట్రింగ్

meta-externalagent/1.1

నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి

Meta తన క్రాలర్ డాక్యుమెంటేషన్‌లో ఈ క్రాలర్ కోసం IP పరిధులను గానీ reverse DNS పద్ధతిని గానీ ప్రచురించదు, కాబట్టి యూజర్ ఏజెంట్ సరిపోలిక మాత్రమే అభ్యర్థన నిజమైనదని నిరూపించలేదు. తన క్రాలర్‌ల గురించిన ప్రశ్నలను Meta webmasters@meta.comకు పంపమంటుంది.

మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →

AI క్రాలర్‌ల కోసం robots.txt: ఏది అనుమతించాలి, ఏది బ్లాక్ చేయాలి →