meta-externalfetcher
Meta-ExternalFetcher récupère des liens individuels lorsqu'un utilisateur le demande, par exemple pour alimenter une IA agentique qui aide les gens à accomplir des tâches sur des sites web. Meta indique qu'il peut contourner robots.txt car il effectue des récupérations demandées par des utilisateurs : seule une règle de pare-feu l'arrête de façon fiable.
Ce qu'il fait
Meta indique que Meta-ExternalFetcher effectue des récupérations de liens individuels déclenchées par l'utilisateur pour alimenter des fonctions du produit, comme une IA agentique qui aide les utilisateurs à accomplir des tâches sur des sites web. Ce n'est pas un robot d'exploration général.
Meta précise que, ces récupérations étant demandées par un utilisateur, Meta-ExternalFetcher peut contourner robots.txt. Le bloquer au niveau du pare-feu fait échouer ces récupérations.
Jeton robots.txt
meta-externalfetcher
Chaîne user agent
meta-externalfetcher/1.1Comment l'autoriser
User-agent: meta-externalfetcher
Allow: /Comment le bloquer
User-agent: meta-externalfetcher
Disallow: /Comment vérifier les visites réelles
Meta ne publie dans la documentation de ses robots ni plages d'IP ni méthode de DNS inverse pour cet agent de récupération ; la seule correspondance du user agent ne suffit donc pas à prouver qu'une requête est authentique. Meta renvoie les questions sur ses robots à webmasters@meta.com.