Entrena un LLM de 3.8B con 0.384 en CORE por solo $998
Training a 3.8B LLM to 0.384 CORE for $998 – Hugo Vergnes
Hugo Vergnes entrenó un modelo de 3.8B parámetros desde cero en 43 horas usando 8 GPUs B200, con un costo total de $998. Inspirado por nanochat de Andrej Karpathy, el modelo alcanzó 0.384 en CORE, superando a GPT-2 y a configuraciones similares. El proyecto destaca por su infraestructura configurable, el uso de Muon y FP8, y demuestra que con mil dólares se puede lograr un modelo significativo fuera de un laboratorio.
Mi modelo es más grande que nanochat d32 y tomó un tiempo de reloj similar. Las B200 fueron mejor valor por unidad de trabajo que las H100. Pero por aproximadamente el mismo dinero que la configuración de $1,000 de nanochat, este queda significativamente por delante.
- brainless
Cada vez más experimentos así. Me sentí triste durante un par de meses cuando me di cuenta de que escribir código ya no será lo mismo. Ahora estoy del otro lado.
Los LLMs son interesantes a su manera, pero como ingeniero, esta es una forma de desbloquear una nueva manera de construir software.
Recientemente construí un parser de Excel/CSV asistido por Claude para un sistema de gestión de propiedades con sede en EE. UU. (cumplimiento fiscal). Usa Haiku y tiene mucho código determinista para extraer combinaciones de columnas/filas y verificar formatos conocidos, y finalmente le pasa los encabezados a Haiku para que nos dé un plan de traducción a nuestras columnas de soporte.
Estos eventualmente se convertirían en parte del software, en un LLM diminuto. La brecha entre el entrenamiento (de LLMs tan pequeños) y la inferencia se reducirá. Podemos consultar a Claude para casos límite, crear un conjunto de datos de muestra y entrenar el LLM diminuto bajo demanda para así recurrir menos a Claude.
Las herramientas que necesita un proyecto son realmente importantes. Algo que yo también he estado sintiendo. No solo en proyectos de construcción de LLMs, sino en proyectos de software regulares generados por LLMs.
- rao-v
¡Esto es genial! Estaría tentado a intentar esto de nuevo apuntando a ~1B de parámetros y todo el recetario de ideas de modelos pequeños "actuales": gated delta nets (¿o un contexto de ~2K es demasiado corto para beneficiarse?), embeddings por capa o n-gram, residuales con compuertas, etc.
- johnnylambada
No te culpo por usar un LLM para escribir un artículo sobre un LLM que construiste. He estado leyendo tanto output de LLMs que ahora lo veo en todas partes. Me pregunto si los humanos empezarán a escribir más como los LLMs.