meta-externalagent

Meta · Обука AI модела

Meta-ExternalAgent је Meta краулер за намене као што су обука основних AI модела и побољшање производа директним индексирањем садржаја. Meta каже да га можете блокирати забраном у robots.txt. Meta AI претрага користи други краулер, meta-webindexer, који ово правило не покрива.

Како да га дозволите

User-agent: meta-externalagent
Allow: /

Како да га блокирате

User-agent: meta-externalagent
Disallow: /

Шта ради

Meta каже да краулер Meta-ExternalAgent пописује веб за намене као што су обука основних AI модела или побољшање производа директним индексирањем садржаја. Meta документује његово блокирање додавањем правила disallow за meta-externalagent у robots.txt.

Одвојен је од meta-webindexer-а, који Meta користи за побољшање резултата Meta AI претраге, и од Meta-ExternalFetcher-а, који преузима линкове на захтев корисника.

У нашој студији из 2026-11 блокирало га је 19.5% популарних сајтова са robots.txt. →

robots.txt токен

meta-externalagent

User-agent стринг

meta-externalagent/1.1

Како да проверите праве посете

Meta у својој документацији о краулерима не објављује IP опсеге ни метод обрнутог DNS-а за овај краулер, па само поклапање user agent-а не може да докаже да је захтев прави. Meta питања о својим краулерима упућује на webmasters@meta.com.

Проверите да ли га ваш сајт пушта →

robots.txt за AI краулере: шта дозволити, а шта блокирати →