meta-externalfetcher
Meta-ExternalFetcher ruft einzelne Links ab, wenn ein Nutzer dies verlangt, zum Beispiel zur Unterstützung agentischer KI, die Menschen hilft, Aufgaben auf Websites zu erledigen. Laut Meta kann er die robots.txt umgehen, weil er Abrufe ausführt, die Nutzer angefordert haben; nur eine Firewall-Regel hält ihn zuverlässig auf.
Was er tut
Laut Meta führt Meta-ExternalFetcher vom Nutzer ausgelöste Abrufe einzelner Links aus, um Produktfunktionen zu unterstützen, etwa agentische KI, die Nutzern hilft, Aufgaben auf Websites zu erledigen. Er ist kein allgemeiner Crawler.
Meta erklärt, dass Meta-ExternalFetcher die robots.txt umgehen kann, weil diese Abrufe von einem Nutzer angefordert wurden. Wenn Sie ihn an der Firewall blockieren, schlagen diese Abrufe fehl.
robots.txt-Token
meta-externalfetcher
User-Agent-String
meta-externalfetcher/1.1So lassen Sie ihn zu
User-agent: meta-externalfetcher
Allow: /So blockieren Sie ihn
User-agent: meta-externalfetcher
Disallow: /So prüfen Sie echte Besuche
Meta veröffentlicht in seiner Crawler-Dokumentation weder IP-Bereiche noch ein Reverse-DNS-Verfahren für diesen Fetcher, daher kann ein User-Agent-Treffer allein nicht beweisen, dass eine Anfrage echt ist. Meta verweist bei Fragen zu seinen Crawlern an webmasters@meta.com.