4GB GPUで70B LLM推論を実現するAirLLM

AirLLM 70B inference with single 4GB GPU

AirLLMは、モデルを層ごとに分割し、一度に1層だけをGPUにロードすることで、メモリ使用量を劇的に削減。量子化や蒸留、プルーニングなしで、4GB GPUで70Bモデル、8GBで405B Llama 3.1、約12GBでDeepSeek-V3（671B）を実行可能。さらに、スパースMoEモデルではエキスパート単位でストリーミングするため、最大級のオープンソースモデルKimi K3（2.8T）も4GB未満で動作。AutoModel APIで主要なオープンLLMをサポートし、モデル圧縮による最大3倍の高速化も実現。