meta-externalfetcher
Meta · 用户请求的抓取
Meta-ExternalFetcher 在用户提出请求时抓取单个链接，例如为帮助人们在网站上完成任务的智能体 AI 提供支持。Meta 表示它执行的是用户请求的抓取，因此可能绕过 robots.txt，只有防火墙规则能可靠地阻止它。
它的作用
Meta 表示，Meta-ExternalFetcher 执行由用户发起的单个链接抓取，以支持产品功能，例如帮助用户在网站上完成任务的智能体 AI。它不是通用爬虫。
Meta 声明，由于这些抓取是用户请求的，Meta-ExternalFetcher 可能绕过 robots.txt。在防火墙处屏蔽它会使这些抓取失败。
robots.txt 标识
meta-externalfetcher
User agent 字符串
meta-externalfetcher/1.1如何允许
User-agent: meta-externalfetcher
Allow: /如何屏蔽
User-agent: meta-externalfetcher
Disallow: /如何验证真实访问
Meta 在其爬虫文档中没有公布该抓取器的 IP 范围或反向 DNS 验证方法，因此仅凭 user agent 匹配无法证明请求真实。Meta 请将有关其爬虫的问题发送至 webmasters@meta.com。