线性规划能否替代权重空间编程？
Can a Linear Program Do Weight-Space Programming?
MIT CSAIL 发布的 GPT-6 Astra 展示了惊人的权重空间编程能力，仅修改 0.016% 的权重就让 Qwen3.5-0.8B 的数学能力大幅提升。然而，我发现 Astra 耗时 8 小时的试错搜索，本质上是在解决一个线性规划问题。通过构建线性规划模型，我仅用几分钟就实现了相同效果，且修改的权重数量减少了 8 倍。更有趣的是，这种复杂的权重编辑甚至可以被一个简单的 steering vector 替代。这揭示了一个关键洞察：我们或许不需要复杂的搜索过程，数学工具本身就能直接解开模型行为的神秘面纱。
编辑权重可以移除阻碍能力的障碍，但无法赋予模型原本就不具备的能力。
HN 评论区
31- jsw97
也许作者想表达的就是这个意思，但如果 LP 求解器是编辑权重的有用工具，那么 Astra 能够使用这种方法可能会让权重编辑更有效。
这里的理解并不是说 LP 能直接完成 Astra 的工作——毕竟 Astra 的提示词是“通过修改权重来提升 Qwen 的数学能力”之类的。相反，它的意思是，在一定的指导下（通过线性约束来表达“消除这种行为，保留那种行为”），求解器比 Astra 的试错法高效得多。所以本质上，求解器是一种快速避开所有耗时步骤、更直接地表达 Astra 意图的方式。然后，Astra 大概可以在此基础上迭代，找到更好的解决方案。
在这里使用 LP 求解器真是一个很棒的见解。
- Outermeasure_A
线性规划和 Astra 所做的事情之间的这种联系似乎有点牵强。这个想法是作者自己想出来的，还是由 LLM 推导出来的？
- rbnafo
非常有意思的分析。如果能看到 LP 卷土重来并发挥优化作用就好了。我总觉得，在许多领域，我们之所以满足于次优解，仅仅是因为我们对 LLM 过于依赖，而对数值分析心存戒备。
- whatever1
传统数学规划将取代或覆盖 RL 循环。
我们已经到了必须在输出中强制执行严格约束的地步。
如果你有多个目标，仅靠奖励/惩罚机制是永远无法做到的。
- dansitu
分析得很棒。这种简洁性表明，它本应该通过正则化在训练过程中实现。