meta-externalagent
Meta-ExternalAgent ir Meta rāpuļprogramma tādiem mērķiem kā MI pamatmodeļu apmācība un produktu uzlabošana, tieši indeksējot saturu. Meta norāda, ka to var bloķēt ar disallow robots.txt. Meta AI meklēšana izmanto citu rāpuļprogrammu, meta-webindexer, uz kuru šis noteikums neattiecas.
Kā to atļaut
User-agent: meta-externalagent
Allow: / Kā to bloķēt
User-agent: meta-externalagent
Disallow: / Ko tā dara
Meta norāda, ka rāpuļprogramma Meta-ExternalAgent pārmeklē tīmekli tādiem mērķiem kā MI pamatmodeļu apmācība vai produktu uzlabošana, tieši indeksējot saturu. Meta dokumentē tās bloķēšanu, pievienojot robots.txt disallow noteikumu meta-externalagent.
Tā ir atsevišķa no meta-webindexer, ko Meta izmanto Meta AI meklēšanas rezultātu uzlabošanai, un no Meta-ExternalFetcher, kas ielādē saites pēc lietotāja pieprasījuma.
Mūsu 2026-11 pētījumā 19.5% populāru vietņu ar robots.txt to bloķēja. →
robots.txt marķieris
meta-externalagent
User-agent virkne
meta-externalagent/1.1 Kā verificēt īstus apmeklējumus
Meta savā rāpuļprogrammu dokumentācijā nepublicē IP diapazonus vai reverse DNS metodi šai rāpuļprogrammai, tāpēc user-agent sakritība vien nevar pierādīt, ka pieprasījums ir īsts. Jautājumus par savām rāpuļprogrammām Meta lūdz sūtīt uz webmasters@meta.com.