Bonsai 27B: 최초로 스마트폰에서 실행되는 27B급 모델

Bonsai 27B (1-bit LLM): The First 27B-Class Model to Run on a Phone

PrismML이 Qwen3.6 27B 기반의 멀티모달 모델 Bonsai 27B를 Apache 2.0 라이선스로 공개했다. 1비트 변형은 3.9GB에 불과해 iPhone 17 Pro에서 실행 가능하며, 이는 27B급 모델이 스마트폰에서 구동되는 최초의 사례다. 15개 벤치마크에서 1비트 변형은 전체 정밀도 대비 90%, 3비트 변형은 95%의 성능을 유지한다. 특히 수학과 코딩 능력은 거의 손실이 없으며, 에이전트 워크로드에 필수적인 도구 호출 성능도 우수하다. 이 모델은 262K 토큰 컨텍스트, 추측 디코딩, 비전 기능을 지원하며, 온디바이스 AI의 새로운 패러다임을 제시한다.