meta-externalagent
Meta-ExternalAgent è il crawler di Meta per usi come l'addestramento di modelli di base di AI e il miglioramento dei prodotti tramite l'indicizzazione diretta dei contenuti. Meta afferma che puoi bloccarlo con un disallow nel robots.txt. La ricerca di Meta AI usa un crawler diverso, meta-webindexer, che questa regola non copre.
Cosa fa
Meta afferma che il crawler Meta-ExternalAgent scansiona il web per casi d'uso come l'addestramento di modelli di base di AI o il miglioramento dei prodotti tramite l'indicizzazione diretta dei contenuti. Meta documenta il blocco aggiungendo al robots.txt una regola disallow per meta-externalagent.
È separato da meta-webindexer, che Meta usa per migliorare i risultati di ricerca di Meta AI, e da Meta-ExternalFetcher, che recupera i link su richiesta di un utente.
Nel nostro studio di 2026-11, 19.5% dei siti popolari con un robots.txt lo bloccava. →
Token robots.txt
meta-externalagent
Stringa user agent
meta-externalagent/1.1Come consentirlo
User-agent: meta-externalagent
Allow: /Come bloccarlo
User-agent: meta-externalagent
Disallow: /Come verificare le visite reali
Nella documentazione sui suoi crawler Meta non pubblica intervalli IP né un metodo di DNS inverso per questo crawler, quindi la sola corrispondenza dello user agent non può provare che una richiesta sia autentica. Meta indirizza le domande sui suoi crawler a webmasters@meta.com.
Controlla se il tuo sito lo lascia entrare →
robots.txt per i crawler di IA: cosa consentire, cosa bloccare →