meta-externalagent
Meta-ExternalAgent je Metin pajek za namene, kot sta učenje temeljnih modelov UI in izboljševanje izdelkov z neposrednim indeksiranjem vsebine. Meta navaja, da ga lahko blokirate s prepovedjo v robots.txt. Iskanje Meta AI uporablja drugega pajka, meta-webindexer, ki ga to pravilo ne zajema.
Kako ga dovoliti
User-agent: meta-externalagent
Allow: / Kako ga blokirati
User-agent: meta-externalagent
Disallow: / Kaj počne
Meta navaja, da pajek Meta-ExternalAgent pregleduje splet za namene, kot sta učenje temeljnih modelov UI ali izboljševanje izdelkov z neposrednim indeksiranjem vsebine. Meta dokumentira njegovo blokiranje z dodajanjem pravila disallow za meta-externalagent v robots.txt.
Ločen je od meta-webindexer, ki ga Meta uporablja za izboljševanje rezultatov iskanja Meta AI, in od Meta-ExternalFetcher, ki prenaša povezave na zahtevo uporabnika.
V naši raziskavi iz obdobja 2026-11 ga je blokiralo 19.5% priljubljenih spletnih mest z datoteko robots.txt. →
Oznaka v robots.txt
meta-externalagent
Niz user agent
meta-externalagent/1.1 Kako preveriti prave obiske
Meta v dokumentaciji o pajkih za tega pajka ne objavlja obsegov IP ali načina preverjanja z obratnim DNS, zato samo ujemanje user agenta ne more dokazati, da je zahteva pristna. Vprašanja o svojih pajkih Meta usmerja na webmasters@meta.com.