meta-externalagent
Meta-ExternalAgent is de crawler van Meta voor toepassingen zoals het trainen van AI-basismodellen en het verbeteren van producten door content direct te indexeren. Meta zegt dat je hem kunt blokkeren met een disallow-regel in robots.txt. Meta AI-zoeken gebruikt een andere crawler, meta-webindexer, die door deze regel niet wordt gedekt.
Wat de crawler doet
Meta zegt dat de crawler Meta-ExternalAgent het web crawlt voor toepassingen zoals het trainen van AI-basismodellen of het verbeteren van producten door content direct te indexeren. Meta beschrijft het blokkeren door een disallow-regel voor meta-externalagent aan robots.txt toe te voegen.
Hij staat los van meta-webindexer, die Meta gebruikt om de zoekresultaten van Meta AI te verbeteren, en van Meta-ExternalFetcher, die links ophaalt op verzoek van een gebruiker.
In ons onderzoek van 2026-11 blokkeerde 19.5% van de populaire sites met een robots.txt deze crawler. →
robots.txt-token
meta-externalagent
User-agentstring
meta-externalagent/1.1Zo sta je hem toe
User-agent: meta-externalagent
Allow: /Zo blokkeer je hem
User-agent: meta-externalagent
Disallow: /Zo verifieer je echte bezoeken
Meta publiceert in de crawlerdocumentatie geen IP-bereiken of reverse-DNS-methode voor deze crawler, dus een match op de user agent alleen kan niet bewijzen dat een verzoek echt is. Meta verwijst vragen over zijn crawlers naar webmasters@meta.com.
Controleer of je site hem toelaat →
robots.txt voor AI-crawlers: wat je toestaat en wat je blokkeert →