meta-externalagent
Meta · AI 学習
Meta-ExternalAgent は、AI 基盤モデルの学習や、コンテンツを直接インデックスすることによる製品改善などの用途で使われる Meta のクローラーです。Meta によると、robots.txt の disallow でブロックできます。Meta AI の検索は別のクローラーである meta-webindexer を使い、このルールの対象外です。
役割
Meta によると、Meta-ExternalAgent クローラーは、AI 基盤モデルの学習や、コンテンツを直接インデックスすることによる製品改善などの用途でウェブをクロールします。Meta は、robots.txt に meta-externalagent の disallow ルールを追加してブロックする方法を示しています。
Meta AI の検索結果を改善するために使われる meta-webindexer や、ユーザーのリクエストでリンクを取得する Meta-ExternalFetcher とは別のものです。
2026-11の調査では、robots.txt を設置している人気サイトの 19.5% がこのクローラーをブロックしていました。 →
robots.txt のトークン
meta-externalagent
ユーザーエージェント文字列
meta-externalagent/1.1許可する方法
User-agent: meta-externalagent
Allow: /ブロックする方法
User-agent: meta-externalagent
Disallow: /本物のアクセスかどうかを確認する方法
Meta は、クローラーのドキュメントでこのクローラーの IP 範囲や逆引き DNS の方法を公開していないため、ユーザーエージェントの一致だけではリクエストが本物だと証明できません。Meta は、クローラーに関する問い合わせを webmasters@meta.com に案内しています。