meta-externalagent
Meta-ExternalAgent er Metas crawler til formål som træning af AI-fundamentmodeller og forbedring af produkter ved at indeksere indhold direkte. Meta siger, at du kan blokere den med en disallow i robots.txt. Meta AI-søgning bruger en anden crawler, meta-webindexer, som denne regel ikke dækker.
Hvad den gør
Meta siger, at crawleren Meta-ExternalAgent gennemgår nettet til anvendelser som træning af AI-fundamentmodeller eller forbedring af produkter ved at indeksere indhold direkte. Meta dokumenterer blokering ved at tilføje en disallow-regel for meta-externalagent i robots.txt.
Den er adskilt fra meta-webindexer, som Meta bruger til at forbedre søgeresultater i Meta AI, og fra Meta-ExternalFetcher, som henter links efter en brugers anmodning.
I vores undersøgelse fra 2026-11 blokerede 19.5% af populære websites med en robots.txt den. →
robots.txt-token
meta-externalagent
User agent-streng
meta-externalagent/1.1Sådan tillader du den
User-agent: meta-externalagent
Allow: /Sådan blokerer du den
User-agent: meta-externalagent
Disallow: /Sådan verificerer du ægte besøg
Meta offentliggør hverken IP-intervaller eller en reverse DNS-metode for denne crawler i sin dokumentation af crawlere, så et match på user agent alene kan ikke bevise, at en forespørgsel er ægte. Meta henviser spørgsmål om sine crawlere til webmasters@meta.com.
Tjek, om dit website lukker den ind →
robots.txt til AI-crawlere: hvad du skal tillade, og hvad du skal blokere →