MITの「重み空間プログラミング」、実は線形計画法で8倍効率化できた
Can a Linear Program Do Weight-Space Programming?
MIT CSAILのGPT-6 Astraは、Qwen3.5-0.8Bの重みを0.016%書き換えるだけでMATH-500の正答率を7.9%から48.1%に引き上げた。だがその8時間に及ぶ試行錯誤の大半は、実は線形計画法で解ける問題だった。筆者はGPUソルバーで約1分の求解に置き換え、変更する重みを8分の1に減らしながら同等の性能を達成した。
重みを編集すれば、隠れていた能力を塞いでいる障害を取り除くことはできても、モデルが持っていない能力を付け加えることはできない。
HNでの議論
33- whatever1
従来の数理計画法がRLループを置き換えるか、優先されるだろう。
出力に厳密な制約を課す必要がある段階に達している。
複数の目的がある場合、報酬やペナルティでは決してそれを実現できない。
- jsw97
著者が言いたいのはこういうことかもしれないが、LPソルバーが重み編集の有用なツールなら、Astraがこの手法にアクセスできることで重み編集がより効果的になるかもしれない。
ここでの解釈は、LPがAstraの仕事をできるというよりも――結局Astraのプロンプトは「重みを変えてQwenの数学を改善する」といったものだった――むしろ、いくつかのガイダンス（この振る舞いを排除し、あの振る舞いを保持する、線形制約として表現される）があれば、ソルバーはAstraの試行錯誤よりはるかに効率的だということだ。つまり本質的に、ソルバーは時間のかかる作業をすべて切り抜け、Astraの意図をより直接的に表現する方法になる。そしておそらくAstraはそれに基づいて反復し、より良い解に到達できるだろう。
ここでLPソルバーを使うのは本当にクールな洞察だ。
- rbnafo
非常に興味深い分析だ。LPが復活して最適化するのを見てみたい。多くの分野で、LLMに執着しすぎて数値解析を警戒するあまり、最適でない解に落ち着いてしまっているという印象をいつも持っている。
- dansitu
素晴らしい分析だ。このシンプルさは、正則化によってトレーニング中に行われるべきであることを示している。
- daemonk
重み空間プログラミングとバックプロパゲーションのようなものの正確な違いは何だろう？AIは何らかの形で重みについてより深く推論し、バックプロパゲーションからの単純なフィードバックよりも多くのパラメータを考慮できるということだろうか？