Soup - 4GB GPUで8Bモデルをファインチューニング

Show HN: Fine-tune an 8B model on a 4 GB laptop GPU

Soupは、LLMのファインチューニングをシンプルなワークフローに変えるCLIツールです。1つの設定ファイルと1つのコマンドで、SFT、DPO、ORPO、SimPO、KTOなどのトレーニングを実行できます。SSH不要、設定地獄なし。レイヤーストリーミングにより、4GBのGPUメモリで8Bモデルのファインチューニングが可能です。QLoRAによる量子化、自動バッチサイズ調整、GPU検出など、面倒な設定はすべて自動処理。ローカル環境で手軽に高性能モデルをカスタマイズできます。