meta-externalagent
Meta-ExternalAgent adalah crawler Meta untuk keperluan seperti melatih model AI fondasi dan meningkatkan produk dengan mengindeks konten secara langsung. Meta menyatakan Anda dapat memblokirnya dengan disallow di robots.txt. Pencarian Meta AI memakai crawler berbeda, meta-webindexer, yang tidak tercakup oleh aturan ini.
Fungsinya
Meta menyatakan crawler Meta-ExternalAgent meng-crawl web untuk kasus penggunaan seperti melatih model AI fondasi atau meningkatkan produk dengan mengindeks konten secara langsung. Meta mendokumentasikan pemblokirannya dengan menambahkan aturan disallow untuk meta-externalagent ke robots.txt.
Bot ini terpisah dari meta-webindexer, yang dipakai Meta untuk meningkatkan hasil pencarian Meta AI, dan dari Meta-ExternalFetcher, yang mengambil tautan atas permintaan pengguna.
Dalam studi kami pada 2026-11, 19.5% situs populer yang memiliki robots.txt memblokirnya. →
Token robots.txt
meta-externalagent
String user agent
meta-externalagent/1.1Cara mengizinkannya
User-agent: meta-externalagent
Allow: /Cara memblokirnya
User-agent: meta-externalagent
Disallow: /Cara memverifikasi kunjungan asli
Dalam dokumentasi crawler-nya, Meta tidak mempublikasikan rentang IP atau metode DNS terbalik untuk crawler ini, sehingga kecocokan user agent saja tidak dapat membuktikan bahwa sebuah permintaan asli. Meta mengarahkan pertanyaan tentang crawler-nya ke webmasters@meta.com.
Periksa apakah situs Anda mengizinkannya →
robots.txt untuk crawler AI: apa yang diizinkan, apa yang diblokir →