Applebot-Extended

Apple · AI 训练

Applebot-Extended 是 robots.txt 标识,而不是爬虫。禁止它即告知 Apple 不要将 Applebot 抓取的内容用于训练其生成式基础模型。Apple 表示,禁止它的页面仍可出现在 Apple 的搜索结果中,因此屏蔽它不会影响 Siri 或 Spotlight 中的可见度。

它的作用

Apple 表示,Applebot-Extended 不抓取网页,只用于确定 Applebot 抓取的数据可以如何使用。禁止它即让你的内容退出 Apple 基础模型的训练,这些模型为 Apple Intelligence 等生成式 AI 功能提供支持。

禁止 Applebot-Extended 的页面仍可被收录到搜索结果中,Apple 表示搜索排名不会考虑这条规则。抓取本身由 Applebot 标识控制。

在我们 2026-11 的研究中,有 robots.txt 的热门网站里,18.0% 屏蔽了它。 →

robots.txt 标识

Applebot-Extended

如何允许

User-agent: Applebot-Extended
Allow: /

如何屏蔽

User-agent: Applebot-Extended
Disallow: /

如何验证真实访问

日志中没有可验证的内容:Applebot-Extended 从不作为 user agent 出现。其背后的请求来自 Applebot,你可以通过反向 DNS(applebot.apple.com)验证,或与 Apple 已公布的 IP 范围比对。

检测你的网站是否允许它访问 →

面向 AI 爬虫的 robots.txt:该允许什么,该屏蔽什么 →