meta-externalagent

Meta · Treniranje AI-ja

Meta-ExternalAgent je Metin crawler za namjene poput treniranja temeljnih AI modela i poboljšanja proizvoda izravnim indeksiranjem sadržaja. Meta navodi da ga možete blokirati zabranom u robots.txt. Pretraživanje Meta AI koristi drugi crawler, meta-webindexer, na koji se ovo pravilo ne odnosi.

Kako ga dopustiti

User-agent: meta-externalagent
Allow: /

Kako ga blokirati

User-agent: meta-externalagent
Disallow: /

Što radi

Meta navodi da crawler Meta-ExternalAgent pretražuje web za namjene poput treniranja temeljnih AI modela ili poboljšanja proizvoda izravnim indeksiranjem sadržaja. Meta dokumentira njegovo blokiranje dodavanjem pravila disallow za meta-externalagent u robots.txt.

Odvojen je od meta-webindexer, koji Meta koristi za poboljšanje rezultata pretraživanja Meta AI, i od Meta-ExternalFetcher, koji dohvaća poveznice na zahtjev korisnika.

U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 19.5% popularnih web-stranica s datotekom robots.txt. →

Token za robots.txt

meta-externalagent

Niz user agenta

meta-externalagent/1.1

Kako provjeriti stvarne posjete

Meta u svojoj dokumentaciji o crawlerima ne objavljuje IP raspone ni metodu obrnutog DNS-a za ovaj crawler, pa podudaranje user agenta samo po sebi ne može dokazati da je zahtjev stvaran. Pitanja o svojim crawlerima Meta upućuje na webmasters@meta.com.

Provjerite propušta li ga vaša web-stranica →

robots.txt za AI crawlere: što dopustiti, a što blokirati →