Applebot-Extended
Apple · AI 训练
Applebot-Extended 是 robots.txt 标识,而不是爬虫。禁止它即告知 Apple 不要将 Applebot 抓取的内容用于训练其生成式基础模型。Apple 表示,禁止它的页面仍可出现在 Apple 的搜索结果中,因此屏蔽它不会影响 Siri 或 Spotlight 中的可见度。
它的作用
Apple 表示,Applebot-Extended 不抓取网页,只用于确定 Applebot 抓取的数据可以如何使用。禁止它即让你的内容退出 Apple 基础模型的训练,这些模型为 Apple Intelligence 等生成式 AI 功能提供支持。
禁止 Applebot-Extended 的页面仍可被收录到搜索结果中,Apple 表示搜索排名不会考虑这条规则。抓取本身由 Applebot 标识控制。
在我们 2026-11 的研究中,有 robots.txt 的热门网站里,18.0% 屏蔽了它。 →
robots.txt 标识
Applebot-Extended
如何允许
User-agent: Applebot-Extended
Allow: /
如何屏蔽
User-agent: Applebot-Extended
Disallow: /
如何验证真实访问
日志中没有可验证的内容:Applebot-Extended 从不作为 user agent 出现。其背后的请求来自 Applebot,你可以通过反向 DNS(applebot.apple.com)验证,或与 Apple 已公布的 IP 范围比对。