meta-externalfetcher
Meta-ExternalFetcher henter enkeltlenker når en bruker ber om det, for eksempel for å støtte agentisk AI som hjelper folk med å utføre oppgaver på nettsteder. Meta sier at den kan omgå robots.txt fordi den utfører hentinger brukere har bedt om, så bare en brannmurregel stopper den pålitelig.
Hva den gjør
Meta sier at Meta-ExternalFetcher utfører brukerutløste hentinger av enkeltlenker for å støtte produktfunksjoner, for eksempel agentisk AI som hjelper brukere med å utføre oppgaver på nettsteder. Den er ikke en generell crawler.
Meta oppgir at Meta-ExternalFetcher kan omgå robots.txt, fordi disse hentingene ble bedt om av en bruker. Blokkerer du den i brannmuren, mislykkes hentingene.
robots.txt-token
meta-externalfetcher
User agent-streng
meta-externalfetcher/1.1Slik tillater du den
User-agent: meta-externalfetcher
Allow: /Slik blokkerer du den
User-agent: meta-externalfetcher
Disallow: /Slik verifiserer du ekte besøk
Meta publiserer ikke IP-områder eller en metode med omvendt DNS for denne henteren i crawler-dokumentasjonen, så en treff på user agent alene kan ikke bevise at en forespørsel er ekte. Meta henviser spørsmål om crawlerne sine til webmasters@meta.com.