meta-externalagent
Meta-ExternalAgent este crawlerul Meta pentru utilizări precum antrenarea modelelor de bază de AI și îmbunătățirea produselor prin indexarea directă a conținutului. Meta spune că îl poți bloca cu o regulă disallow în robots.txt. Căutarea Meta AI folosește un alt crawler, meta-webindexer, pe care această regulă nu îl acoperă.
Ce face
Meta spune că Meta-ExternalAgent parcurge web-ul pentru cazuri de utilizare precum antrenarea modelelor de bază de AI sau îmbunătățirea produselor prin indexarea directă a conținutului. Meta documentează blocarea lui prin adăugarea în robots.txt a unei reguli disallow pentru meta-externalagent.
Este separat de meta-webindexer, pe care Meta îl folosește pentru a îmbunătăți rezultatele căutării Meta AI, și de Meta-ExternalFetcher, care preia linkuri la cererea unui utilizator.
În studiul nostru din 2026-11, 19.5% dintre site-urile populare cu robots.txt îl blocau. →
Tokenul robots.txt
meta-externalagent
Șirul user agent
meta-externalagent/1.1Cum îl permiți
User-agent: meta-externalagent
Allow: /Cum îl blochezi
User-agent: meta-externalagent
Disallow: /Cum verifici vizitele reale
Meta nu publică în documentația crawlerelor sale intervale IP sau o metodă de DNS invers pentru acest agent, deci potrivirea user agent-ului singură nu poate dovedi că o cerere este autentică. Meta direcționează întrebările despre crawlerele sale către webmasters@meta.com.