meta-externalagent
Meta-ExternalAgent ialah perangkak Meta untuk kegunaan seperti melatih model AI asas dan menambah baik produk dengan mengindeks kandungan secara langsung. Meta menyatakan anda boleh menyekatnya dengan larangan dalam robots.txt. Carian Meta AI menggunakan perangkak lain, meta-webindexer, yang tidak dilindungi oleh peraturan ini.
Fungsinya
Meta menyatakan perangkak Meta-ExternalAgent merangkak web untuk kegunaan seperti melatih model AI asas atau menambah baik produk dengan mengindeks kandungan secara langsung. Meta mendokumenkan penyekatannya dengan menambah peraturan disallow untuk meta-externalagent dalam robots.txt.
Ia berasingan daripada meta-webindexer, yang digunakan Meta untuk menambah baik hasil carian Meta AI, dan daripada Meta-ExternalFetcher, yang mencapai pautan atas permintaan pengguna.
Dalam kajian 2026-11 kami, 19.5% laman popular yang mempunyai robots.txt telah menyekatnya. →
Token robots.txt
meta-externalagent
Rentetan user agent
meta-externalagent/1.1Cara membenarkannya
User-agent: meta-externalagent
Allow: /Cara menyekatnya
User-agent: meta-externalagent
Disallow: /Cara mengesahkan lawatan sebenar
Meta tidak menerbitkan julat IP atau kaedah DNS songsang untuk perangkak ini dalam dokumentasi perangkaknya, jadi padanan user agent sahaja tidak dapat membuktikan sesuatu permintaan adalah tulen. Meta mengarahkan pertanyaan tentang perangkaknya kepada webmasters@meta.com.
Semak sama ada laman anda membenarkannya masuk →
robots.txt untuk crawler AI: apa yang dibenarkan, apa yang disekat →