meta-externalfetcher
Meta · 使用者要求的擷取
Meta-ExternalFetcher 會在使用者提出要求時擷取個別連結，例如為協助使用者在網站上完成任務的代理式 AI 提供支援。Meta 表示，由於它執行的是使用者要求的擷取，因此可能略過 robots.txt，只有防火牆規則能可靠地阻止它。
它的作用
Meta 表示，Meta-ExternalFetcher 會執行由使用者發起的個別連結擷取，以支援產品功能，例如協助使用者在網站上完成任務的代理式 AI。它不是一般用途的爬蟲。
Meta 表示，由於這些擷取是使用者要求的，Meta-ExternalFetcher 可能略過 robots.txt。在防火牆封鎖它會使這些擷取失敗。
robots.txt 標記
meta-externalfetcher
User agent 字串
meta-externalfetcher/1.1如何允許
User-agent: meta-externalfetcher
Allow: /如何封鎖
User-agent: meta-externalfetcher
Disallow: /如何驗證真實造訪
Meta 在其爬蟲文件中沒有公布此擷取程式的 IP 範圍或反向 DNS 驗證方法，因此單憑 user agent 相符無法證明請求是真實的。Meta 請大家將有關其爬蟲的問題寄至 webmasters@meta.com。