Context Language Modelsがコンテキスト管理をモデル自身に任せ、SOTAを少ない計算量で上回る
Context Language Models(CLM)は、コンテキストをファイルとして扱いモデル自身が無制限に更新できるようにすることで、コンテキスト管理を外部ハーネスからモデルの内在的振る舞いに移す。既存モデルでゼロショット構築しても、BrowseComp-Plusで精度11.4%向上・FLOPs21.5%削減、12時間EdgeBenchでスコア5%向上・FLOPs59%削減、24時間のマルチリポジトリagent-swarmタスクで同一計算量ながら改善率65%増を達成。自然言語指示による制御やオンライン強化学習、Suffix Cache Reuseの共設計も導入し、Qwen3.5-9Bの性能を47.6%改善しつつFLOPsを12%削減、SGLang比でサーバー計算量を35%削減する。
コンテキスト管理を外部ハーネス制御から内在的モデル行動へ移すことで、CLMはコンテキスト管理戦略のin-context学習とパラメトリック学習の両方を自然に可能にする。
HNでの議論
48- _jayhack_
モデルに自分自身のコンテキストを管理させるのは、まさに「bitter lesson」を地で行く話だね。
最大の課題は、エージェントのコンテキストやプレフィックスを頻繁に編集するとキャッシュヒット率が大幅に下がってしまうこと。だから例えばAnthropicのAPI経由では効率的に実装できない。
これは原理的には解決可能だけど、transformerアーキテクチャの変更が必要になるだろうし、servingインフラの変更は間違いなく必要になる。
関連記事: "KV Cache Rules Everything Around Me": https://www.completeskeptic.com/p/kv-cache-rules-everything-...
- bob1029
コンテキスト管理が限られたattentionリソースを食いつぶしてしまうのが気になる。
エージェントに自分のメモリ危機を解決させたいのか、それとも本来のタスクを解決させたいのか?おそらく両方同時にできるだろうけど、これには無視できないコストが伴う気がする。
メインエージェントのコンテキストを管理する専用のハイパーバイザーエージェントを別に置く方が、自分の経験上ずっと良い。別のスケジュールで動かせるし、メインエージェントはそれについて考えるためにトークンを一切消費しなくて済む。キャッシュがミスするタイミングを制御しやすくなるという利点もある。
- imtringued
ママ、deep equilibrium (DEQ) transformerが欲しい!
ダメよ、うちにはDEQがあるでしょ。
うちのDEQ: まずコンテキストをファイルに書き出して、それからモデルにそれを編集するようプロンプトするだけ。
- killerstorm
関連: "Recursive Language Models" https://arxiv.org/abs/2512.24601
- svachalek
わお。コンテキスト管理は現代のLLMにおける大きな残存課題の一つだから、これは大きいかもしれない。明らかな問題点はキャッシュの破壊だけど、それに対する解決策まで調べているのはワクワクするね。