Contrastive Language ModelsがJevを最大9倍高速で凌駕、エージェントベンチマークでSOTA
Contrastive Language Models（CLM）は、状態と行動を対比学習で結びつける新しいSystem Oneモデルだ。CLM-8Bは60MのNemotron Q&Aペアで事前学習され、30Mの合成ハードネガティブで中間学習、1Mのエージェント軌跡で事後学習される。コンピュータ操作、ゲーム、ツール呼び出しでJevと同等の性能を達成しつつ、最大9倍低遅延を実現。軽量ファインチューニングにより、DeepSWE（81.6%）やTerminal Bench 2.1（87.6%）で新たなSOTAを樹立した。
Jevは長期的タスクの検証者として機能せず、ランダム選択（Pass@1）ベースラインを下回る。対照的に、軽量ファインチューニングにより、CLMはDeepSWE（81.6%）やTerminal-Bench 2.1（87.6%）を含む困難なエージェントベンチマークでSOTA性能を達成し、Jevより4～6倍高速な推論を提供する。
HNでの議論
55- khalic
この技術はとてもクールだが、ガイアのためにも「システム1」と呼ぶのはやめてほしい。Kahneman自身も、これ（S1/2）は脳の内部動作を理解するためのフレームワークだと言っていた。自律的なシステムなど存在しない。
- vessenes
>「CLM-8Bは、DeepSWE（81.6%）やTerminal Bench 2.1（87.6%）を含む、挑戦的なエージェントコーディングベンチマークで新たなSOTAを達成した。」
発表ページにはこれに関する詳細が全く見当たらなかった。そして、私はこれを信じない。DeepSWEでのAstra x-highのpass@1は74% ± 3%だ。（https://deepswe.datacurve.ai）
とはいえ、こうした新しいアーキテクチャのいくつかが人々の探求を促すのを見るのは大好きだ。しかし、これらの数字に関しては、誰かが間違っているに違いない。
- amluto
私はこのものと、それがJevを解釈する方法に魅了されている。とてもクールだが、これは実際には分類器なのだろうか？
私の理解では、彼らはすでに訓練済みの「凍結された」LLMを取り、その上に小さなモデルを訓練した。そのモデルは質問と入力データ処理後の隠れ状態の両方を受け取り、回答の「確率」を生成する。（対照的に、元のLLMはARモードで実行され、回答を表す複数の出力トークンを生成していただろう。）しかし、彼らはそれを実際には分類ではない目的で使用した。
私の意見では、「このメールはスパムか」と「このエージェント的ワークロードでどの文字を入力すべきか」の間にはかなり大きな違いがある。前者は分類である。願わくば正解（そのメールはスパムか？）が存在し、モデルはそのメールを分類しようとしている。適切なスコアリングルールで採点するだろう。後者は戦略である。通常、現在も未来も正解は存在しない。モデルは繰り返しのラウンドからなるゲームをプレイしており、それを評価する唯一の方法は、どれだけうまくプレイするかを見ることだ。最適解と有用に比較することすらできない。最適解を知らないかもしれないし、モデルが最適解を生み出す必要も実際にはないからだ。
私はこのアプローチは本当にクールだと思うし、現代のLLMを使って入力処理し、モデルの次のエージェント的ステップを非常に高速な非AR方式で抽出し、通常のARデコーディングと遜色ない結果を得られる可能性を示唆している。そして、[…]を脱構築するのは非常に興味深いと思う。
- mugul
訓練プロセスに関する非常に興味深い洞察で、なぜ彼らがまさにこれらのステップを踏んだのか、何を試して何がうまくいかなかったのかなどについて、実験的な正当化があるのはとてもクールだ。少しだけ黒魔術っぽくなくなった感じがする。
しかし、Jevはリモートサーバーで動作するため、レイテンシの議論はあまり価値がないことに同意する。最近どれだけ多くのオープンなJevライクなモデルが出てきたかを考えると、それらとの比較があった方がずっと興味深いだろう。
- fxwin
「System One」が単に「速い」という意味の新しいバズワードとして定着しないことを心から願う。