meta-externalagent
Meta-ExternalAgent er Metas crawler til formål som å trene AI-grunnmodeller og forbedre produkter ved å indeksere innhold direkte. Meta sier at du kan blokkere den med en disallow-regel i robots.txt. Meta AI-søk bruker en annen crawler, meta-webindexer, som ikke dekkes av denne regelen.
Hva den gjør
Meta sier at Meta-ExternalAgent-crawleren crawler nettet til formål som å trene AI-grunnmodeller eller forbedre produkter ved å indeksere innhold direkte. Meta dokumenterer blokkering ved å legge til en disallow-regel for meta-externalagent i robots.txt.
Den er adskilt fra meta-webindexer, som Meta bruker til å forbedre søkeresultatene i Meta AI, og fra Meta-ExternalFetcher, som henter lenker på brukerens forespørsel.
I undersøkelsen vår fra 2026-11 blokkerte 19.5% av de populære nettstedene med robots.txt den. →
robots.txt-token
meta-externalagent
User agent-streng
meta-externalagent/1.1Slik tillater du den
User-agent: meta-externalagent
Allow: /Slik blokkerer du den
User-agent: meta-externalagent
Disallow: /Slik verifiserer du ekte besøk
Meta publiserer ikke IP-områder eller en metode med omvendt DNS for denne crawleren i crawler-dokumentasjonen, så en treff på user agent alene kan ikke bevise at en forespørsel er ekte. Meta henviser spørsmål om crawlerne sine til webmasters@meta.com.
Sjekk om nettstedet ditt slipper den inn →
robots.txt for AI-crawlere: hva du bør tillate og blokkere →