LoRA Speedrun: récord de 6m 05s para ajustar Qwen2.5-1.5B en GSM8K

LoRA Speedrun – a public wall-clock leaderboard for fine-tuning techniques

LoRA Speedrun es un proyecto que aplica la filosofía de modded-nanogpt al fine-tuning con LoRA: tarea fija (Qwen2.5-1.5B en GSM8K), hardware fijo (una L40S en Modal) y un leaderboard público de tiempos reales. Cada récord se verifica ejecutando 3 veces con semillas distintas. El actual récord es de 6 minutos 5 segundos, logrado con sequence packing y enmascaramiento de pérdida solo en completaciones. El objetivo es fomentar la comparación justa de técnicas como DoRA, rsLoRA o QLoRA, que suelen publicarse en condiciones incomparables.