TurboFieldfare - Gemma 4 26B inference on 2GB RAM for Apple Silicon
Show HN: Open-source engine running Gemma 4 26B in 2 GB RAM on any M-series Mac
TurboFieldfare는 Apple Silicon Mac에서 Gemma 4 26B-A4B 모델을 단 2GB RAM 으로 구동하는 오픈소스 엔진입니다. 전체 모델 가중치를 메모리에 로드하지 않고, 핵심 부분을 유지하면서 필요한 전문가 레이어만 SSD 에서 스트리밍하는 혁신적인 방식을 사용합니다. Swift 와 Metal 로 구축된 이 런타임은 8GB RAM 을 가진 MacBook Air 에서도 고품질 AI 추론을 가능하게 하며, 네이티브 앱, CLI, 로컬 서버를 제공합니다.
메모리 비용이 비싸지자 260 억 파라미터 모델에 약 2GB 예산을 할당했습니다.