meta-externalagent
Meta-ExternalAgent је Meta краулер за намене као што су обука основних AI модела и побољшање производа директним индексирањем садржаја. Meta каже да га можете блокирати забраном у robots.txt. Meta AI претрага користи други краулер, meta-webindexer, који ово правило не покрива.
Како да га дозволите
User-agent: meta-externalagent
Allow: / Како да га блокирате
User-agent: meta-externalagent
Disallow: / Шта ради
Meta каже да краулер Meta-ExternalAgent пописује веб за намене као што су обука основних AI модела или побољшање производа директним индексирањем садржаја. Meta документује његово блокирање додавањем правила disallow за meta-externalagent у robots.txt.
Одвојен је од meta-webindexer-а, који Meta користи за побољшање резултата Meta AI претраге, и од Meta-ExternalFetcher-а, који преузима линкове на захтев корисника.
У нашој студији из 2026-11 блокирало га је 19.5% популарних сајтова са robots.txt. →
robots.txt токен
meta-externalagent
User-agent стринг
meta-externalagent/1.1 Како да проверите праве посете
Meta у својој документацији о краулерима не објављује IP опсеге ни метод обрнутог DNS-а за овај краулер, па само поклапање user agent-а не може да докаже да је захтев прави. Meta питања о својим краулерима упућује на webmasters@meta.com.