Mac Studio 跑通近万亿参数模型
Apple ML Research: Muse Spark Open with MLX on Mac Studio
Apple 展示了如何利用 MLX 框架和 RDMA over Thunderbolt 技术，在 Mac Studio 集群上运行 Muse Spark Open 这一近万亿参数的前沿模型。在四台 Mac Studio 组成的集群中，该模型每秒能生成超过 36 个 token，速度远超人类阅读。文章详细对比了 M5 Ultra 与 M3 Ultra 在推理性能上的差异，特别是 M5 Ultra 的 GPU Neural Accelerator 在计算密集型任务中带来的显著提升。此外，通过管道并行和张量并行策略，开发者可以将超大模型拆分到多台机器上协同工作，让本地私有环境也能承载最强大的 AI 能力。
在四台 Mac Studio 组成的集群上，Muse Spark Open 每秒生成的 token 数超过 36 个，这一速度远超人类的平均阅读速度。