meta-externalagent
Meta · AI 训练
Meta-ExternalAgent 是 Meta 的爬虫，用途包括训练 AI 基础模型，以及通过直接为内容建立索引来改进产品。Meta 表示可以用 robots.txt 的 disallow 规则屏蔽它。Meta AI 搜索使用另一个爬虫 meta-webindexer，该规则不涵盖它。
它的作用
Meta 表示，Meta-ExternalAgent 爬虫抓取网络的用途包括训练 AI 基础模型，或通过直接为内容建立索引来改进产品。Meta 的文档说明，屏蔽它的方法是在 robots.txt 中为 meta-externalagent 添加 disallow 规则。
它与 meta-webindexer 是分开的，后者由 Meta 用于改进 Meta AI 搜索结果；它也不同于 Meta-ExternalFetcher，后者按用户请求抓取链接。
在我们 2026-11 的研究中，有 robots.txt 的热门网站里，19.5% 屏蔽了它。 →
robots.txt 标识
meta-externalagent
User agent 字符串
meta-externalagent/1.1如何允许
User-agent: meta-externalagent
Allow: /如何屏蔽
User-agent: meta-externalagent
Disallow: /如何验证真实访问
Meta 在其爬虫文档中没有公布该爬虫的 IP 范围或反向 DNS 验证方法，因此仅凭 user agent 匹配无法证明请求真实。Meta 请将有关其爬虫的问题发送至 webmasters@meta.com。