Apple запускает почти триллионный Muse Spark Open на четырёх Mac Studio со скоростью 36 токенов в секунду
Apple ML Research: Muse Spark Open with MLX on Mac Studio
Apple показала, как запустить фронтир-модель Muse Spark Open с 816 млрд параметров на кластере из четырёх Mac Studio. Благодаря новому MLX с поддержкой RDMA over Thunderbolt 5 и параллелизации tensor/pipeline модель выдаёт более 36 токенов в секунду — быстрее средней скорости чтения. Также тестируются Mistral Medium 3.5 и Qwen 3.8: M5 Ultra ускоряет время до первого токена до 4,6×, а генерацию — до 1,6× по сравнению с M3 Ultra.
На кластере из четырёх Mac Studios Muse Spark Open генерирует более 36 токенов в секунду — значительно выше средней скорости чтения человека.