meta-externalagent
O Meta-ExternalAgent é o crawler da Meta para usos como treinar modelos de base de IA e melhorar produtos indexando conteúdo diretamente. A Meta diz que você pode bloqueá-lo com uma regra disallow no robots.txt. A busca do Meta AI usa outro crawler, o meta-webindexer, que essa regra não cobre.
O que ele faz
A Meta diz que o crawler Meta-ExternalAgent rastreia a web para usos como treinar modelos de base de IA ou melhorar produtos indexando conteúdo diretamente. A Meta documenta o bloqueio adicionando ao robots.txt uma regra disallow para meta-externalagent.
Ele é separado do meta-webindexer, que a Meta usa para melhorar os resultados de busca do Meta AI, e do Meta-ExternalFetcher, que busca links a pedido do usuário.
No nosso estudo de 2026-11, 19.5% dos sites populares com robots.txt o bloqueavam. →
Token do robots.txt
meta-externalagent
String de user agent
meta-externalagent/1.1Como permitir
User-agent: meta-externalagent
Allow: /Como bloquear
User-agent: meta-externalagent
Disallow: /Como verificar visitas reais
A Meta não publica faixas de IP nem um método de DNS reverso para esse crawler na documentação de seus crawlers, então só a correspondência do user agent não prova que uma requisição é genuína. A Meta direciona dúvidas sobre seus crawlers para webmasters@meta.com.
Veja se seu site deixa ele entrar →
robots.txt para crawlers de IA: o que liberar e o que bloquear →