1GB 램 TV 박스에서 160억 파라미터 LLM을 돌린 사나이

I'm making LLMs work on small and old devices

샤오미 TV 박스(1.9GB 램)와 2013년형 iPad Air(1GB 램)에서 다양한 LLM을 구동하는 프로젝트. 1비트 룩업 테이블 커널, 전문가 페이징, 가중치 스트리밍 등의 최적화로 TV 박스에서 16B MoE 모델을 5.1 tok/s로, iPad에서 1.7B 모델을 24-26 tok/s로 실행한다. 모든 수치는 실제 하드웨어에서 측정되었으며, 실험 과정은 E1-E160까지 기록되어 있다.