LoRAファインチューニングの最速記録を競う「LoRA Speedrun」、現在の記録は6分5秒

LoRA Speedrun – a public wall-clock leaderboard for fine-tuning techniques

「LoRA Speedrun」は、LoRAファインチューニングの手法を壁時計時間で競う公開リーダーボードです。タスク、ハードウェア、評価方法は固定され、Qwen2.5-1.5BをGSM8Kで57%以上の精度に到達させるまでの時間を競います。現在の記録は6分5秒で、シーケンスパッキングと完了のみの損失マスキングを採用。検証はModalのL40S上で3回のシードで再実行され、無料枠で誰でも挑戦・検証できます。このプロジェクトは、前処理のnanoGPTスピードランに触発され、PEFT手法の公平な比較の場を提供します。