meta-externalfetcher
Meta-ExternalFetcher obtiene enlaces concretos cuando un usuario lo pide, por ejemplo para apoyar una IA con capacidad de acción que ayuda a las personas a completar tareas en sitios web. Meta dice que puede saltarse robots.txt porque realiza obtenciones que los usuarios han solicitado, así que solo una regla de cortafuegos lo detiene de forma fiable.
Qué hace
Meta dice que Meta-ExternalFetcher realiza obtenciones iniciadas por el usuario de enlaces concretos para apoyar funciones del producto, como una IA con capacidad de acción que ayuda a los usuarios a completar tareas en sitios web. No es un rastreador general.
Meta afirma que, como estas obtenciones las ha solicitado un usuario, Meta-ExternalFetcher puede saltarse robots.txt. Si lo bloquea en el cortafuegos, esas obtenciones fallan.
Token de robots.txt
meta-externalfetcher
Cadena de user agent
meta-externalfetcher/1.1Cómo permitirlo
User-agent: meta-externalfetcher
Allow: /Cómo bloquearlo
User-agent: meta-externalfetcher
Disallow: /Cómo verificar las visitas reales
Meta no publica rangos de IP ni un método de DNS inverso para este agente de obtención en su documentación de rastreadores, así que la coincidencia del user agent por sí sola no prueba que una solicitud sea genuina. Meta dirige las consultas sobre sus rastreadores a webmasters@meta.com.