meta-externalfetcher
Meta-ExternalFetcher mencapai pautan individu apabila pengguna memintanya, contohnya untuk menyokong AI beragen yang membantu orang menyelesaikan tugas di laman web. Meta menyatakan ia mungkin memintas robots.txt kerana ia melakukan capaian yang diminta pengguna, jadi hanya peraturan tembok api yang menghentikannya dengan pasti.
Fungsinya
Meta menyatakan Meta-ExternalFetcher melakukan capaian pautan individu yang dimulakan pengguna untuk menyokong fungsi produk, seperti AI beragen yang membantu pengguna menyelesaikan tugas di laman web. Ia bukan perangkak umum.
Meta menyatakan bahawa kerana capaian ini diminta oleh pengguna, Meta-ExternalFetcher mungkin memintas robots.txt. Menyekatnya di tembok api menyebabkan capaian tersebut gagal.
Token robots.txt
meta-externalfetcher
Rentetan user agent
meta-externalfetcher/1.1Cara membenarkannya
User-agent: meta-externalfetcher
Allow: /Cara menyekatnya
User-agent: meta-externalfetcher
Disallow: /Cara mengesahkan lawatan sebenar
Meta tidak menerbitkan julat IP atau kaedah DNS songsang untuk pengambil ini dalam dokumentasi perangkaknya, jadi padanan user agent sahaja tidak dapat membuktikan sesuatu permintaan adalah tulen. Meta mengarahkan pertanyaan tentang perangkaknya kepada webmasters@meta.com.