meta-externalagent
Meta-ExternalAgent on Metan robotti käyttötarkoituksiin kuten tekoälyn perusmallien kouluttamiseen ja tuotteiden parantamiseen indeksoimalla sisältöä suoraan. Meta kertoo, että sen voi estää robots.txt-tiedoston disallow-säännöllä. Meta AI:n haku käyttää eri robottia, meta-webindexeriä, jota tämä sääntö ei kata.
Mitä se tekee
Meta kertoo, että Meta-ExternalAgent-robotti käy verkkoa läpi käyttötarkoituksiin kuten tekoälyn perusmallien kouluttamiseen tai tuotteiden parantamiseen indeksoimalla sisältöä suoraan. Meta dokumentoi sen estämisen lisäämällä robots.txt-tiedostoon disallow-säännön tunnukselle meta-externalagent.
Se on erillinen meta-webindexeristä, jota Meta käyttää Meta AI:n hakutulosten parantamiseen, ja Meta-ExternalFetcherista, joka noutaa linkkejä käyttäjän pyynnöstä.
2026-11 tekemässämme tutkimuksessa 19.5% suosituista sivustoista, joilla on robots.txt, esti sen. →
robots.txt-tunnus
meta-externalagent
User agent -merkkijono
meta-externalagent/1.1Miten sen sallii
User-agent: meta-externalagent
Allow: /Miten sen estää
User-agent: meta-externalagent
Disallow: /Miten aidot käynnit varmistetaan
Meta ei julkaise robottidokumentaatiossaan tämän robotin IP-alueita eikä käänteistä DNS-menetelmää, joten pelkkä user agentin täsmäys ei todista pyyntöä aidoksi. Meta ohjaa robotteja koskevat kysymykset osoitteeseen webmasters@meta.com.