meta-externalagent
Meta-ExternalAgent ni crawler ya Meta kwa matumizi kama kufunza foundation models za AI na kuboresha bidhaa kwa kuweka maudhui kwenye index moja kwa moja. Meta inasema unaweza kuizuia kwa disallow kwenye robots.txt. Utafutaji wa Meta AI unatumia crawler tofauti, meta-webindexer, ambayo sheria hii haiishughulikii.
Jinsi ya kuiruhusu
User-agent: meta-externalagent
Allow: / Jinsi ya kuizuia
User-agent: meta-externalagent
Disallow: / Inafanya nini
Meta inasema crawler ya Meta-ExternalAgent hupitia wavuti kwa matumizi kama kufunza foundation models za AI au kuboresha bidhaa kwa kuweka maudhui kwenye index moja kwa moja. Meta inaelezea kuizuia kwa kuongeza sheria ya disallow kwa meta-externalagent kwenye robots.txt.
Ni tofauti na meta-webindexer, ambayo Meta hutumia kuboresha matokeo ya utafutaji wa Meta AI, na Meta-ExternalFetcher, ambayo hupakua viungo kwa ombi la mtumiaji.
Katika utafiti wetu wa 2026-11, 19.5% ya tovuti maarufu zenye robots.txt ziliizuia. →
Tokeni ya robots.txt
meta-externalagent
Mfuatano wa user agent
meta-externalagent/1.1 Jinsi ya kuthibitisha ziara halisi
Meta haichapishi masafa ya IP wala njia ya reverse DNS kwa crawler hii kwenye nyaraka zake za crawler, kwa hivyo kulingana kwa user agent pekee hakuwezi kuthibitisha kwamba ombi ni halisi. Meta inaelekeza maswali kuhusu crawler zake kwa webmasters@meta.com.
Kagua kama tovuti yako inairuhusu kuingia →
robots.txt kwa crawler za AI: nini cha kuruhusu, nini cha kuzuia →