Mac M4 离线运行 Laya，每秒 45 次决策
Laya (OS Jev) on Mac M4 CoreML Offline (45 decisions per second)
开发者在 Mac M4 芯片上成功实现了 Laya 模型的离线运行，利用 CoreML 框架达到了每秒 45 次决策的惊人速度。通过简单的 shell 脚本，用户无需联网即可下载并运行多语言模型，在本地完成复杂的推理任务。这一突破展示了苹果芯片在边缘计算领域的强大潜力，让高性能 AI 应用真正走出云端，走进本地设备。
在 Mac M4 上利用 CoreML 离线运行 Laya，实现了每秒 45 次决策的速度。
HN 评论区
32- EgregiousCube
Jev 的营销卖点里不是有一部分是它拥有“地球级智能”吗？我不知道它到底在多大程度上实现了这一点，但如果这不是极其错误的说法，那很难看出一个 0.3B 的模型怎么能宣称自己是 OS Jev。
- imranq
根据我 admittedly 有限的研究，似乎你应该在拥有部分训练数据的、确定性更强的任务中使用 Laya。对于零样本（zero shot）场景，它的表现恐怕不如 Jev。
- PaulRobinson
本地 LLM 是未来，我认为这也是数据中心热潮最终将导致市场崩盘的原因之一。
能够可靠用于控制问题的 LLM 才是未来。我认为经典/深度强化学习（RL）多年来一直被整个行业忽视，适用于一大堆问题，因为它让人觉得难以企及。当我看到 Jev（然后是 Laya）时，我第一时间想到的就是“这可能会以非常、非常有趣的方式推动进展”。
能够可靠用于控制问题的本地 LLM 打破了我感兴趣的许多障碍，这让我非常着迷。如果它真能在这种硬件上跑出这样的性能，我大概马上就要成为 Laya 的狂热粉丝了。