meta-externalfetcher
Meta-ExternalFetcher prenaša posamezne povezave, ko jih zahteva uporabnik, na primer za podporo agentni UI, ki ljudem pomaga opraviti naloge na spletnih mestih. Meta navaja, da lahko obide robots.txt, ker izvaja prenose, ki so jih zahtevali uporabniki, zato ga zanesljivo ustavi le pravilo požarnega zidu.
Kako ga dovoliti
User-agent: meta-externalfetcher
Allow: / Kako ga blokirati
User-agent: meta-externalfetcher
Disallow: / Kaj počne
Meta navaja, da Meta-ExternalFetcher izvaja prenose posameznih povezav, ki jih sprožijo uporabniki, za podporo funkcijam izdelkov, kot je agentna UI, ki uporabnikom pomaga opraviti naloge na spletnih mestih. Ni splošen pajek.
Meta navaja, da lahko Meta-ExternalFetcher obide robots.txt, ker je te prenose zahteval uporabnik. Blokiranje v požarnem zidu povzroči, da ti prenosi ne uspejo.
Oznaka v robots.txt
meta-externalfetcher
Niz user agent
meta-externalfetcher/1.1 Kako preveriti prave obiske
Meta v dokumentaciji o pajkih za ta prenašalnik ne objavlja obsegov IP ali načina preverjanja z obratnim DNS, zato samo ujemanje user agenta ne more dokazati, da je zahteva pristna. Vprašanja o svojih pajkih Meta usmerja na webmasters@meta.com.