meta-externalfetcher
O Meta-ExternalFetcher busca links individuais quando um usuário pede, por exemplo para dar suporte a uma IA agêntica que ajuda as pessoas a concluir tarefas em sites. A Meta diz que ele pode ignorar o robots.txt porque faz acessos pedidos por usuários, então só uma regra de firewall o detém de forma confiável.
O que ele faz
A Meta diz que o Meta-ExternalFetcher faz buscas de links individuais iniciadas por usuários para dar suporte a funções do produto, como uma IA agêntica que ajuda usuários a concluir tarefas em sites. Ele não é um crawler geral.
A Meta afirma que, como essas buscas foram pedidas por um usuário, o Meta-ExternalFetcher pode ignorar o robots.txt. Bloqueá-lo no firewall faz essas buscas falharem.
Token do robots.txt
meta-externalfetcher
String de user agent
meta-externalfetcher/1.1Como permitir
User-agent: meta-externalfetcher
Allow: /Como bloquear
User-agent: meta-externalfetcher
Disallow: /Como verificar visitas reais
A Meta não publica faixas de IP nem um método de DNS reverso para esse fetcher na documentação de seus crawlers, então só a correspondência do user agent não prova que uma requisição é genuína. A Meta direciona dúvidas sobre seus crawlers para webmasters@meta.com.