meta-externalfetcher
Meta-ExternalFetcher haalt losse links op wanneer een gebruiker erom vraagt, bijvoorbeeld om agentische AI te ondersteunen die mensen helpt taken op websites uit te voeren. Meta zegt dat hij robots.txt mag omzeilen omdat hij ophaalacties uitvoert waar gebruikers om vroegen, dus alleen een firewallregel houdt hem betrouwbaar tegen.
Wat de crawler doet
Meta zegt dat Meta-ExternalFetcher door gebruikers gestarte opvragingen van losse links uitvoert om productfuncties te ondersteunen, zoals agentische AI die gebruikers helpt taken op websites uit te voeren. Het is geen algemene crawler.
Meta stelt dat Meta-ExternalFetcher robots.txt mag omzeilen, omdat deze opvragingen door een gebruiker zijn aangevraagd. Blokkeer je hem in de firewall, dan mislukken die opvragingen.
robots.txt-token
meta-externalfetcher
User-agentstring
meta-externalfetcher/1.1Zo sta je hem toe
User-agent: meta-externalfetcher
Allow: /Zo blokkeer je hem
User-agent: meta-externalfetcher
Disallow: /Zo verifieer je echte bezoeken
Meta publiceert in de crawlerdocumentatie geen IP-bereiken of reverse-DNS-methode voor deze fetcher, dus een match op de user agent alleen kan niet bewijzen dat een verzoek echt is. Meta verwijst vragen over zijn crawlers naar webmasters@meta.com.