4GB GPU로 70B LLM 실행: AirLLM

AirLLM 70B inference with single 4GB GPU

AirLLM은 추론 메모리 사용량을 획기적으로 줄여, 양자화나 증류 없이도 단일 4GB GPU에서 70B급 대형 언어 모델을 실행할 수 있게 해주는 오픈소스 라이브러리입니다. 이 기술은 GPU에 한 번에 하나의 레이어만 유지하는 방식으로, 405B Llama 3.1을 8GB, 671B DeepSeek-V3를 약 12GB, 그리고 현재까지 공개된 가장 큰 오픈소스 모델인 Kimi K3(2.8T)를 4GB 미만에서 실행할 수 있습니다. 또한 FP8 모델 지원, 3배 빠른 추론을 위한 블록 단위 양자화 압축, CPU 추론, MacOS 지원 등을 제공합니다.