Apple、Mac Studio 4台で1兆パラメータ級LLM「Muse Spark Open」を毎秒36トークン超で生成
Apple ML Research: Muse Spark Open with MLX on Mac Studio
AppleのMLリサーチが、オープンソースのMLXフレームワークとThunderbolt 5上のRDMAドライバ「jaccl」を使い、Mac Studio上で大規模LLMを動かす方法を公開した。Muse Spark Open（816B、MoE）は4ビット量子化で約493GBとなり単機には収まらないが、4台のM5 Ultraをテンソル並列で接続すると毎秒36トークン超を生成。M5 UltraのGPU Neural Acceleratorは初回トークン生成を最大4.6倍高速化し、消費電力も最大300Wに抑えられる。
Muse Spark Openはネイティブ精度（BF16）ではモデルパラメータだけで1.6TB超のRAMを必要とする。4ビット量子化（NVFP4）形式ではメモリフットプリントが約493GBに下がるが、推論中の中間計算用メモリを加えると単一マシンには収まらない。