Apple, Mac Studio 4대로 1조 파라미터 Muse Spark Open을 초당 36토큰으로 돌리다

Apple ML Research: Muse Spark Open with MLX on Mac Studio

Apple ML Research가 Mac Studio 클러스터에서 거의 1조 파라미터에 달하는 Muse Spark Open을 실행하는 방법을 공개했다. MLX와 Thunderbolt 5 기반 RDMA 드라이버를 활용해 4대의 Mac Studio에서 초당 36토큰 이상을 생성하며, 이는 평균 인간 독서 속도를 크게 웃도는 수치다. M5 Ultra의 GPU Neural Accelerator는 TTFT를 최대 4.6배 단축하고, 1.2TB/s의 통합 메모리 대역폭은 디코드 속도를 1.6배 높인다. 파이프라인 및 텐서 병렬화로 단일 머신에 담을 수 없는 초대형 모델을 분산 처리한다.