meta-externalfetcher
Meta · ユーザーのリクエストによる取得
Meta-ExternalFetcher は、ユーザーが求めたときに個々のリンクを取得します。たとえば、人々がウェブサイト上でタスクを完了するのを助けるエージェント型 AI を支えるためです。Meta によると、ユーザーがリクエストした取得を行うため robots.txt を回避する場合があり、確実に止められるのはファイアウォールのルールだけです。
役割
Meta によると、Meta-ExternalFetcher は、ウェブサイト上でのタスクの完了を助けるエージェント型 AI など、製品機能を支えるために、ユーザーが開始した個別リンクの取得を行います。汎用のクローラーではありません。
Meta は、これらの取得はユーザーがリクエストしたものであるため、Meta-ExternalFetcher は robots.txt を回避する場合があると述べています。ファイアウォールでブロックすると、これらの取得は失敗します。
robots.txt のトークン
meta-externalfetcher
ユーザーエージェント文字列
meta-externalfetcher/1.1許可する方法
User-agent: meta-externalfetcher
Allow: /ブロックする方法
User-agent: meta-externalfetcher
Disallow: /本物のアクセスかどうかを確認する方法
Meta は、クローラーのドキュメントでこのクローラーの IP 範囲や逆引き DNS の方法を公開していないため、ユーザーエージェントの一致だけではリクエストが本物だと証明できません。Meta は、クローラーに関する問い合わせを webmasters@meta.com に案内しています。