LoRA 미세조정 스피드런: Qwen2.5-1.5B를 6분 만에 GSM8K 61%로

LoRA Speedrun – a public wall-clock leaderboard for fine-tuning techniques

LoRA 미세조정 기법의 공개 경쟁을 위한 'LoRA Speedrun' 프로젝트가 등장했다. 고정된 작업(GSM8K), 고정된 하드웨어(단일 L40S), 그리고 벽시계 시간 기준의 공개 리더보드를 제공한다. 현재 최고 기록은 6분 5초로, 시퀀스 패킹과 완료 전용 손실 마스킹을 사용해 베이스라인 대비 49% 단축했다. 모든 기록은 동일한 하드웨어에서 3회 재현 검증을 거치며, Modal의 무료 크레딧으로 누구나 도전하고 검증할 수 있다.