LittleLearner: Was passiert, wenn ein LLM nie über die fünfte Klasse hinauskommt?
What happens when an LLM never sees material beyond fifth grade?
Forschende haben LittleLearner entwickelt, eine Modellfamilie, die ausschließlich auf einem auf den US-Lehrplan der Klassen K–5 zugeschnittenen Korpus trainiert wurde. Die kontrollierte Wissensgrenze ermöglicht es, zu untersuchen, ob Skalierung, Post-Training und In-Context-Learning neue Fähigkeiten hervorbringen oder nur vorhandene verstärken. Die Ergebnisse zeigen: Keine dieser Methoden überwindet die durch die Trainingsdaten gesetzte Grenze – die Filterung bestimmt die effektive Leistungsobergrenze.
In unseren Experimenten verstärken Skalierung, SFT+GRPO-Post-Training und In-Context-Learning, was der Lehrplan gelehrt hat, aber keine verbessert die Leistung außerhalb des Gelernten signifikant – der Pretraining-Filter setzt die effektive Leistungsobergrenze.