Muse Glimmer: 30B Transformer로 위장한 메모리 계층 구조

Muse Glimmer is a memory hierarchy disguised as a 30B Transformer

Meta의 Muse Glimmer는 클라우드 없이 기기에서 실행되는 에이전트로, 30B급 모델과 131K 토큰 컨텍스트, 비전 인코더를 소비자 하드웨어에 맞추는 엔지니어링 문제를 해결합니다. 이 글은 4비트 양자화와 로컬/글로벌 어텐션의 혼합, NoPE 전역 레이어, 2개의 KV 헤드, 추가 게이트 프로젝션 등 메모리 계층 구조로 설계된 아키텍처를 분석합니다. BF16 기준 55.46 GiB의 가중치를 24~32GB 메모리에 담는 방법과 KV 캐시 계산, 각 구성 요소의 역할을 설명합니다.