meta-externalagent
Meta-ExternalAgent ist der Crawler von Meta für Zwecke wie das Training von KI-Basismodellen und die Verbesserung von Produkten durch direktes Indexieren von Inhalten. Laut Meta können Sie ihn mit einem Disallow in der robots.txt blockieren. Die Suche von Meta AI verwendet einen anderen Crawler, meta-webindexer, den diese Regel nicht erfasst.
Was er tut
Laut Meta crawlt der Crawler Meta-ExternalAgent das Web für Anwendungsfälle wie das Training von KI-Basismodellen oder die Verbesserung von Produkten durch direktes Indexieren von Inhalten. Meta dokumentiert das Blockieren, indem man der robots.txt eine Disallow-Regel für meta-externalagent hinzufügt.
Er ist von meta-webindexer, den Meta zur Verbesserung der Suchergebnisse von Meta AI einsetzt, und von Meta-ExternalFetcher, der Links auf Wunsch eines Nutzers abruft, getrennt.
In unserer Studie vom 2026-11 blockierten 19.5% der beliebten Websites mit einer robots.txt ihn. →
robots.txt-Token
meta-externalagent
User-Agent-String
meta-externalagent/1.1So lassen Sie ihn zu
User-agent: meta-externalagent
Allow: /So blockieren Sie ihn
User-agent: meta-externalagent
Disallow: /So prüfen Sie echte Besuche
Meta veröffentlicht in seiner Crawler-Dokumentation weder IP-Bereiche noch ein Reverse-DNS-Verfahren für diesen Crawler, daher kann ein User-Agent-Treffer allein nicht beweisen, dass eine Anfrage echt ist. Meta verweist bei Fragen zu seinen Crawlern an webmasters@meta.com.
Prüfen, ob Ihre Website ihn hereinlässt →
robots.txt für KI-Crawler: was Sie erlauben und was Sie sperren →