Entrena un LLM de terremotos de 113M de parámetros desde cero

I trained a 113M-parameter earthquake LLM from absolute scratch

nanoGPT-Seis es un repositorio educativo que recorre todo el ciclo de vida de un modelo de lenguaje pequeño especializado en sismología: desde el rastreo de datos hasta la inferencia, con explicaciones detalladas de cada etapa. El corpus combina artículos científicos y textos generales, y el modelo de 113M de parámetros se entrena en dos NVIDIA A30. Los resultados muestran que un contexto más largo y una mezcla de datos generales mejoran la fluidez y el rendimiento, ofreciendo una base sólida para futuros ajustes.