meta-externalagent
Meta-ExternalAgent అనేది ఫౌండేషన్ AI మోడల్ల ట్రైనింగ్, కంటెంట్ను నేరుగా ఇండెక్స్ చేసి ప్రోడక్ట్లను మెరుగుపరచడం వంటి ఉపయోగాల కోసం Meta క్రాలర్. robots.txt disallowతో దీన్ని బ్లాక్ చేయవచ్చని Meta చెబుతుంది. Meta AI సెర్చ్ వేరే క్రాలర్ meta-webindexerను ఉపయోగిస్తుంది, ఈ నియమం దాన్ని కవర్ చేయదు.
దీన్ని ఎలా అనుమతించాలి
User-agent: meta-externalagent
Allow: / దీన్ని ఎలా బ్లాక్ చేయాలి
User-agent: meta-externalagent
Disallow: / ఇది ఏమి చేస్తుంది
ఫౌండేషన్ AI మోడల్ల ట్రైనింగ్ లేదా కంటెంట్ను నేరుగా ఇండెక్స్ చేసి ప్రోడక్ట్లను మెరుగుపరచడం వంటి ఉపయోగాల కోసం Meta-ExternalAgent క్రాలర్ వెబ్ను క్రాల్ చేస్తుందని Meta చెబుతుంది. robots.txtకు meta-externalagent కోసం disallow నియమాన్ని జోడించి దాన్ని బ్లాక్ చేయడాన్ని Meta డాక్యుమెంట్ చేస్తుంది.
Meta AI సెర్చ్ ఫలితాలను మెరుగుపరచడానికి Meta ఉపయోగించే meta-webindexer నుంచి, యూజర్ అభ్యర్థన మేరకు లింక్లను తెచ్చుకునే Meta-ExternalFetcher నుంచి ఇది వేరు.
మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్లలో 19.5% దీన్ని బ్లాక్ చేశాయి. →
robots.txt టోకెన్
meta-externalagent
యూజర్ ఏజెంట్ స్ట్రింగ్
meta-externalagent/1.1 నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి
Meta తన క్రాలర్ డాక్యుమెంటేషన్లో ఈ క్రాలర్ కోసం IP పరిధులను గానీ reverse DNS పద్ధతిని గానీ ప్రచురించదు, కాబట్టి యూజర్ ఏజెంట్ సరిపోలిక మాత్రమే అభ్యర్థన నిజమైనదని నిరూపించలేదు. తన క్రాలర్ల గురించిన ప్రశ్నలను Meta webmasters@meta.comకు పంపమంటుంది.
మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →
AI క్రాలర్ల కోసం robots.txt: ఏది అనుమతించాలి, ఏది బ్లాక్ చేయాలి →