meta-externalagent
Meta-ExternalAgent je Metin crawler za namjene poput treniranja temeljnih AI modela i poboljšanja proizvoda izravnim indeksiranjem sadržaja. Meta navodi da ga možete blokirati zabranom u robots.txt. Pretraživanje Meta AI koristi drugi crawler, meta-webindexer, na koji se ovo pravilo ne odnosi.
Kako ga dopustiti
User-agent: meta-externalagent
Allow: / Kako ga blokirati
User-agent: meta-externalagent
Disallow: / Što radi
Meta navodi da crawler Meta-ExternalAgent pretražuje web za namjene poput treniranja temeljnih AI modela ili poboljšanja proizvoda izravnim indeksiranjem sadržaja. Meta dokumentira njegovo blokiranje dodavanjem pravila disallow za meta-externalagent u robots.txt.
Odvojen je od meta-webindexer, koji Meta koristi za poboljšanje rezultata pretraživanja Meta AI, i od Meta-ExternalFetcher, koji dohvaća poveznice na zahtjev korisnika.
U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 19.5% popularnih web-stranica s datotekom robots.txt. →
Token za robots.txt
meta-externalagent
Niz user agenta
meta-externalagent/1.1 Kako provjeriti stvarne posjete
Meta u svojoj dokumentaciji o crawlerima ne objavljuje IP raspone ni metodu obrnutog DNS-a za ovaj crawler, pa podudaranje user agenta samo po sebi ne može dokazati da je zahtjev stvaran. Pitanja o svojim crawlerima Meta upućuje na webmasters@meta.com.