LLMが小学5年生までの教材だけで学習したらどうなるか

What happens when an LLM never sees material beyond fifth grade?

LittleLearnerは、米国の小学校カリキュラム（K-5）に限定した880億トークンのコーパスでゼロから学習した言語モデル群です。0.6B、1.3B、5Bの3サイズを用意し、それぞれに非フィルタリングの対照モデルを用意しました。実験の結果、スケーリング、SFT+GRPOによる事後学習、文脈内学習はいずれもカリキュラム内の能力を増幅するものの、カリキュラム外の能力は向上させず、事前学習データの範囲が実質的な能力の上限を決めることが示されました。