meta-externalagent
Meta-ExternalAgent е краулерот на Meta за намени како обука на основни AI модели и подобрување на производите преку директно индексирање на содржина. Meta вели дека можете да го блокирате со забрана во robots.txt. Пребарувањето на Meta AI користи друг краулер, meta-webindexer, кој ова правило не го покрива.
Како да се дозволи
User-agent: meta-externalagent
Allow: / Како да се блокира
User-agent: meta-externalagent
Disallow: / Што прави
Meta вели дека краулерот Meta-ExternalAgent го обиколува интернетот за намени како обука на основни AI модели или подобрување на производите преку директно индексирање на содржина. Meta документира како да се блокира со додавање правило disallow за meta-externalagent во robots.txt.
Тој е одвоен од meta-webindexer, кој Meta го користи за подобрување на резултатите од пребарување на Meta AI, и од Meta-ExternalFetcher, кој презема врски на барање од корисник.
Во нашата студија од 2026-11, 19.5% од популарните сајтови со robots.txt го блокираа. →
Ознака за robots.txt
meta-externalagent
User-agent низа
meta-externalagent/1.1 Како да се потврдат вистинските посети
Meta во својата документација за краулери не објавува IP опсези ниту метод со обратен DNS за овој краулер, па самото совпаѓање на user agent-от не може да докаже дека барањето е вистинско. Meta ги упатува прашањата за своите краулери на webmasters@meta.com.
Проверете дали вашиот сајт го пушта →
robots.txt за AI краулери: што да дозволите, што да блокирате →