meta-externalfetcher
Meta-ExternalFetcher henter enkelte links, når en bruger beder om det, for eksempel for at understøtte agentisk AI, der hjælper folk med at udføre opgaver på websites. Meta siger, at den kan omgå robots.txt, fordi den udfører hentninger, som brugere har bedt om, så kun en firewallregel stopper den pålideligt.
Hvad den gør
Meta siger, at Meta-ExternalFetcher udfører brugerudløste hentninger af enkelte links for at understøtte produktfunktioner, for eksempel agentisk AI, der hjælper brugere med at udføre opgaver på websites. Den er ikke en generel crawler.
Meta oplyser, at Meta-ExternalFetcher kan omgå robots.txt, fordi disse hentninger er bedt om af en bruger. Hvis du blokerer den i firewallen, mislykkes disse hentninger.
robots.txt-token
meta-externalfetcher
User agent-streng
meta-externalfetcher/1.1Sådan tillader du den
User-agent: meta-externalfetcher
Allow: /Sådan blokerer du den
User-agent: meta-externalfetcher
Disallow: /Sådan verificerer du ægte besøg
Meta offentliggør hverken IP-intervaller eller en reverse DNS-metode for denne henter i sin dokumentation af crawlere, så et match på user agent alene kan ikke bevise, at en forespørgsel er ægte. Meta henviser spørgsmål om sine crawlere til webmasters@meta.com.