Apple 与 Google 联手推出第三代 AFM
Apple wants to train AI on your private personal data
Apple 正式发布了第三代 Apple Foundation Models（AFM），这是与 Google 合作打造的新一代 AI 架构，包含 AFM 3 Core、AFM 3 Core Advanced 等五个模型。此次更新的核心在于隐私保护，所有模型均运行在 Private Cloud Compute 上，确保用户数据不被存储或共享。其中，AFM 3 Core Advanced 采用了创新的稀疏激活架构，将模型权重存储在闪存中，突破了设备内存限制。此外，ADM 3 Cloud 模型大幅提升了图像生成与编辑能力。Apple 强调，训练这些模型时绝不使用用户的私人数据或交互记录，仅依赖公开数据、授权数据及合成数据，在提升 Siri 等智能体验的同时，坚守隐私底线。
我们绝不使用用户的私人个人数据或用户交互来训练我们的基础模型。
HN 评论区
19- EAtmULFO
又改口了？
“我们在训练基础模型时，不会使用用户的私人个人数据或用户交互数据。我们也尊重网络出版商选择退出基础模型训练的权利。”
- MattDamonSpace
看了文章后，感觉标题似乎具有误导性，甚至完全错误。
- nojs
关于架构：
> 不再强制将整个模型放入 DRAM，而是将完整模型存储在闪存（NAND）中。由于 NAND 到 DRAM 的带宽太慢，无法像标准 MoE 模型那样逐个 token 交换权重，AFM 3 Core Advanced 改为按提示（prompt）进行路由决策。一个轻量级的稠密块在初始处理阶段选择一组固定的专家，并在生成过程中定期重新选择。为了最小化数据移动，该模型依赖高比例的始终激活的“共享专家”，以及仅在需要时才交换到 DRAM 中的输入依赖型“路由专家”。
这介于 MoE 与完全独立管理特定领域模型之间的一种有趣混合方案：一次选择专家，将其载入内存，运行一段时间的推理后再重新评估。这避免了将所有专家都保留在内存中，但比每次查询只选择一个完整模型更好，因为你拥有大量小型、不透明的专家，它们以有趣的方式重叠和组合。
这样做可能会导致质量大幅下降，但它很有趣，因为它允许模型规模无限扩展。