Context Language Modelsがコンテキスト管理をモデル自身に任せ、SOTAを少ない計算量で上回る

Context Language Models(CLM)は、コンテキストをファイルとして扱いモデル自身が無制限に更新できるようにすることで、コンテキスト管理を外部ハーネスからモデルの内在的振る舞いに移す。既存モデルでゼロショット構築しても、BrowseComp-Plusで精度11.4%向上・FLOPs21.5%削減、12時間EdgeBenchでスコア5%向上・FLOPs59%削減、24時間のマルチリポジトリagent-swarmタスクで同一計算量ながら改善率65%増を達成。自然言語指示による制御やオンライン強化学習、Suffix Cache Reuseの共設計も導入し、Qwen3.5-9Bの性能を47.6%改善しつつFLOPsを12%削減、SGLang比でサーバー計算量を35%削減する。

コンテキスト管理を外部ハーネス制御から内在的モデル行動へ移すことで、CLMはコンテキスト管理戦略のin-context学習とパラメトリック学習の両方を自然に可能にする。

この日のほかの記事

2026-10-01