meta-externalfetcher
Meta-ExternalFetcher hämtar enskilda länkar när en användare ber om det, till exempel för att stödja agentisk AI som hjälper människor att slutföra uppgifter på webbplatser. Meta säger att den kan kringgå robots.txt eftersom den utför hämtningar som användare begärt, så bara en brandväggsregel stoppar den på ett tillförlitligt sätt.
Vad den gör
Meta säger att Meta-ExternalFetcher utför användarinitierade hämtningar av enskilda länkar för att stödja produktfunktioner, till exempel agentisk AI som hjälper användare att slutföra uppgifter på webbplatser. Det är ingen allmän crawler.
Meta uppger att Meta-ExternalFetcher kan kringgå robots.txt, eftersom de här hämtningarna begärts av en användare. Om du blockerar den i brandväggen misslyckas hämtningarna.
robots.txt-token
meta-externalfetcher
User agent-sträng
meta-externalfetcher/1.1Så tillåter du den
User-agent: meta-externalfetcher
Allow: /Så blockerar du den
User-agent: meta-externalfetcher
Disallow: /Så verifierar du riktiga besök
Meta publicerar inga IP-intervall eller någon metod med omvänd DNS för den här agenten i sin crawlerdokumentation, så enbart en matchning av user agent kan inte bevisa att en förfrågan är äkta. Meta hänvisar frågor om sina crawlers till webmasters@meta.com.