meta-externalagent
Meta · AI 訓練
Meta-ExternalAgent 是 Meta 的爬蟲，用途包括訓練 AI 基礎模型，以及透過直接為內容建立索引來改善產品。Meta 表示你可以用 robots.txt 的 disallow 規則封鎖它。Meta AI 搜尋使用另一個爬蟲 meta-webindexer，這條規則並未涵蓋它。
它的作用
Meta 表示，Meta-ExternalAgent 爬蟲擷取網路內容的用途包括訓練 AI 基礎模型，或透過直接為內容建立索引來改善產品。Meta 的文件說明，封鎖它的方法是在 robots.txt 中為 meta-externalagent 加入 disallow 規則。
它與 meta-webindexer 是分開的，後者由 Meta 用於改善 Meta AI 的搜尋結果；它也不同於 Meta-ExternalFetcher，後者依使用者的要求擷取連結。
在我們 2026-11 的研究中，設有 robots.txt 的熱門網站裡有 19.5% 封鎖了它。 →
robots.txt 標記
meta-externalagent
User agent 字串
meta-externalagent/1.1如何允許
User-agent: meta-externalagent
Allow: /如何封鎖
User-agent: meta-externalagent
Disallow: /如何驗證真實造訪
Meta 在其爬蟲文件中沒有公布此爬蟲的 IP 範圍或反向 DNS 驗證方法，因此單憑 user agent 相符無法證明請求是真實的。Meta 請大家將有關其爬蟲的問題寄至 webmasters@meta.com。