meta-externalfetcher

Meta · Pengambilan atas permintaan pengguna

Meta-ExternalFetcher mengambil tautan tertentu ketika pengguna memintanya, misalnya untuk mendukung AI agentik yang membantu orang menyelesaikan tugas di situs web. Meta menyatakan bot ini mungkin melewati robots.txt karena melakukan pengambilan yang diminta pengguna, sehingga hanya aturan firewall yang menghentikannya secara andal.

Fungsinya

Meta menyatakan Meta-ExternalFetcher melakukan pengambilan tautan tertentu atas inisiatif pengguna untuk mendukung fungsi produk, seperti AI agentik yang membantu pengguna menyelesaikan tugas di situs web. Bot ini bukan crawler umum.

Meta menyatakan bahwa karena pengambilan ini diminta pengguna, Meta-ExternalFetcher mungkin melewati robots.txt. Memblokirnya di firewall membuat pengambilan tersebut gagal.

Token robots.txt

meta-externalfetcher

String user agent

meta-externalfetcher/1.1

Cara mengizinkannya

User-agent: meta-externalfetcher
Allow: /

Cara memblokirnya

User-agent: meta-externalfetcher
Disallow: /

Cara memverifikasi kunjungan asli

Dalam dokumentasi crawler-nya, Meta tidak mempublikasikan rentang IP atau metode DNS terbalik untuk crawler ini, sehingga kecocokan user agent saja tidak dapat membuktikan bahwa sebuah permintaan asli. Meta mengarahkan pertanyaan tentang crawler-nya ke webmasters@meta.com.

Dokumentasi vendor

Periksa apakah situs Anda mengizinkannya →