TurboGPT - Entrena un GPT diminuto en menos de un minuto
Show HN: TurboGPT: train 22KiB transformer in 13s
TurboGPT es una implementación en C++ y CUDA que permite entrenar un transformer de solo 22 KiB en apenas 13 segundos, todo desde la línea de comandos. Diseñado para desarrolladores que quieren experimentar con modelos GPT sin depender de grandes frameworks, ofrece checkpoints compatibles con PyTorch, registros en TensorBoard y configuración mediante un archivo experiment.h. Ideal para pruebas rápidas, educación e investigación, TurboGPT demuestra que se puede entrenar un modelo de lenguaje pequeño de forma eficiente y reproducible en hardware NVIDIA.
Entrena un pequeño GPT en menos de un minuto, solo con CUDA.
- _345
Intentando ser un poco menos negativo que el tipo al que marcaron, yo tampoco entiendo la motivación detrás de estos proyectos. He visto cien de ellos a estas alturas, y cada uno es probablemente peor y tiene menos valor de aprendizaje que el que hizo Andrej Karpathy para enseñar a la gente los bloques de construcción involucrados en un GPT
Así que, ¿por qué la gente sigue haciendo estos? Pregunto en serio
- vjsrinivas
Tendencia interesante de etiquetar los modelos por lo grandes que son en disco frente a cuántos parámetros aprendibles tienen.
- jey
A esa escala parece que podrías simplemente resolver las condiciones KKT directamente. Exagero, pero solo un poco