meta-externalfetcher
Meta-ExternalFetcher atsisiunčia pavienes nuorodas, kai jų paprašo naudotojas, pvz., agentiniam DI, padedančiam žmonėms atlikti užduotis svetainėse, palaikyti. Meta teigia, kad jis gali apeiti robots.txt, nes atlieka naudotojų užsakytus atsisiuntimus, todėl patikimai jį sustabdo tik ugniasienės taisyklė.
Kaip jį įleisti
User-agent: meta-externalfetcher
Allow: / Kaip jį blokuoti
User-agent: meta-externalfetcher
Disallow: / Ką jis daro
Meta teigia, kad Meta-ExternalFetcher atlieka naudotojų inicijuotus pavienių nuorodų atsisiuntimus produkto funkcijoms palaikyti, pvz., agentiniam DI, padedančiam naudotojams atlikti užduotis svetainėse. Tai ne bendras robotas.
Meta nurodo, kad kadangi šių atsisiuntimų paprašė naudotojas, Meta-ExternalFetcher gali apeiti robots.txt. Jį užblokavus ugniasienėje šie atsisiuntimai nepavyksta.
robots.txt žymuo
meta-externalfetcher
User-agent eilutė
meta-externalfetcher/1.1 Kaip patvirtinti tikrus apsilankymus
Meta savo robotų dokumentacijoje neskelbia šio atsisiuntimo roboto IP intervalų ar atvirkštinio DNS metodo, todėl vien user agent atitikimas negali įrodyti, kad užklausa tikra. Klausimus apie savo robotus Meta prašo siųsti adresu webmasters@meta.com.