LittleLearner: modelos de lenguaje entrenados solo con material de primaria
What happens when an LLM never sees material beyond fifth grade?
LittleLearner es un conjunto de modelos de lenguaje (0.6B, 1.3B y 5B) entrenados desde cero con un corpus de 88 mil millones de tokens filtrado para incluir únicamente el currículo de primaria de EE. UU. (grados K-5). Los experimentos muestran que el escalado, el post-entrenamiento con GRPO y el aprendizaje en contexto amplifican las capacidades dentro del currículo, pero no mejoran significativamente el rendimiento fuera de él, lo que sugiere que el filtro de preentrenamiento establece el techo de capacidad efectivo. El proyecto ofrece un entorno controlado para estudiar cómo los modelos adquieren conocimiento.
En nuestros experimentos, el escalado, el post-entrenamiento con SFT+GRPO y el aprendizaje en contexto amplifican lo que el currículo enseñó, pero ninguno mejora significativamente el rendimiento fuera del alcance, lo que indica que el filtro de preentrenamiento establece el techo de capacidad efectivo.