Apple ejecuta un LLM de casi un billón de parámetros en cuatro Mac Studio

Apple ML Research: Muse Spark Open with MLX on Mac Studio

Apple muestra cómo Muse Spark Open, un modelo de 816B parámetros, corre en un clúster de cuatro Mac Studio con MLX y RDMA sobre Thunderbolt. Alcanza más de 36 tokens por segundo, superando la velocidad de lectura humana. El artículo detalla la paralelización por pipeline y tensor, y cómo la arquitectura M5 Ultra acelera la inferencia local de modelos frontera en un entorno privado.