meta-externalagent
Meta-ExternalAgent är Metas crawler för användningar som att träna AI-grundmodeller och förbättra produkter genom att indexera innehåll direkt. Meta säger att du kan blockera den med en disallow-regel i robots.txt. Meta AI-sök använder en annan crawler, meta-webindexer, som den här regeln inte täcker.
Vad den gör
Meta säger att crawlern Meta-ExternalAgent genomsöker webben för användningsområden som att träna AI-grundmodeller eller förbättra produkter genom att indexera innehåll direkt. Meta dokumenterar att du blockerar den genom att lägga till en disallow-regel för meta-externalagent i robots.txt.
Den är skild från meta-webindexer, som Meta använder för att förbättra sökresultaten i Meta AI, och från Meta-ExternalFetcher, som hämtar länkar på en användares begäran.
I vår studie från 2026-11 blockerade 19.5% av de populära sajterna med en robots.txt den. →
robots.txt-token
meta-externalagent
User agent-sträng
meta-externalagent/1.1Så tillåter du den
User-agent: meta-externalagent
Allow: /Så blockerar du den
User-agent: meta-externalagent
Disallow: /Så verifierar du riktiga besök
Meta publicerar inga IP-intervall eller någon metod med omvänd DNS för den här agenten i sin crawlerdokumentation, så enbart en matchning av user agent kan inte bevisa att en förfrågan är äkta. Meta hänvisar frågor om sina crawlers till webmasters@meta.com.
Kontrollera om din sajt släpper in den →
robots.txt för AI-crawlers: vad du ska tillåta och blockera →