Astra 能直接修改 Qwen 权重？别被误导了
The 'Astra can read and write weights to improve Qwen' post is misleading
最近有一篇关于 Astra 的文章声称，它仅凭查看原始权重就能理解网络功能，甚至无需梯度就能修复 Qwen3.5 的数学缺陷。但这极具误导性。实际上，Qwen 的改进实验并非“仅看权重”就能完成，而是依赖 Python 代码运行模型并进行了多达 50 轮的练习。真正的“仅看权重”实验仅在小规模网络上有效。作者指出，Astra 展现的能力更多是执行人类 ML 工程师能做的代码任务，而非拥有一种能同时从零构建网络和深度理解大模型的单一通用技术。将这两类不同机制的实验混为一谈，夸大了当前 AI 对模型内部机制的理解深度。
Qwen 的结果和其他使用 Python 的实验，并不应该和那些直接读取权重的实验放在同一篇文章或论文中。
HN 评论区
183- x313
我在这个领域工作（机制解释研究），我同意，原帖确实具有误导性。研究中的过度宣传很正常，但这有点过头了。
首先，关键结果与让 Qwen 更擅长数学毫无关系，它只是减少了推理循环。
推理循环是一个简单的问题：模型生成 </thinking> token（结束推理）的概率太低。你可以通过简单的引导方法来解决，即向 LLM 的不同组件添加向量（https://arxiv.org/abs/2503.22048, https://arxiv.org/abs/2506.18167 等）。Astra 用于识别该向量的方法是人类使用的标准程序（对比分析）。这种引导向量的创建基本上是人类研究人员标准的“入门级解释项目”。
如果你会编程并理解 LLM 内部原理，你自己 4-8 小时就能搞定。这在软件工程中的等价物是使用调试器进行二进制补丁。前沿模型能做到这一点很酷，但并不意外，因为人类也能毫无问题地做到。
- bushido
仅代表我自己。我一直很了解训练相关的许多概念，但直到最近才涉足其中。
几周前，我提出了一个假设：我可以让一个小模型很好地符合我对 git 提交消息的特定标准，而这些标准是目前大多数 LLM 很难做到的。
过去四到五周，我专注于传统训练。它在很多方面都有改进，但还不够让我能用。
昨天，这篇帖子作者所批评的那篇文章给了我一个顿悟：也许我遇到的问题可以通过让更大的 LLM 直接修改权重来解决，而无需经过训练过程。
在过去的十二个小时左右，我取得的进展比过去两周多还要多。我使用了我的最后一个表现良好的检查点（全量微调 + 决策头/LoRA 等修改），并让模型自由更改任何层。
它最后两个操作是：(a) 从头部矩阵中移除了 16 个参与者顺序指令，这改善了一种推理类型但恶化了另一种；(b) 恢复了这 16 个中的一个，逆转了恶化情况，同时保留了核心改进。
总之，对于那些从事训练工作多年甚至几十年的人来说，这可能已是常识，但对我们要来说却是新事物。而且我们对此感到兴奋。
- phoghed
对于那些读到原帖中明确解释部分的人来说，这难道不是很明显吗？那部分正是在总结这篇帖子作者现在所概括的内容。
当然，如果你只读了标题和顶部的简介，你可能会在没有看到全貌的情况下就离开了。
在我看来，这是一个更好的回应：https://news.ycombinator.com/item?id=50344861
- neom
我觉得很多关于 Astra 编辑 Qwen 的内容，只是对现有相对知名技术的重复，例如：https://arxiv.org/html/2406.11717v3，并且在概念上类似于：https://arxiv.org/abs/2512.05648（尽管我记得这是在训练中完成的）。
- tidbeck
@yurimo 在 'Astra can read and write weights to improve Qwen' 的 Hacker News 帖子上有一些非常好的评论：https://news.ycombinator.com/item?id=50341174
- GavinAnderegg
我仍然对“权重空间编程（Weight-Space Programming）”这个想法印象深刻。也许是因为在读到它之前，我不知道 LLM 能够理解或成功修改权重。不过，我认为原文中提供的例子确实令人耳目一新。是的，人类可以构建工具来修改权重，但这里的作者也同意这很困难。Astra 与权重交互的那些例子仍然是新颖的，而且 Astra 似乎以令人惊讶的轻松方式处理了它们。
- davesque
我昨天就在该帖子的评论里说过。Astra 理解机制解释文献、线性代数和 Python。所以想想它会用这些知识做些什么吧。
- jdefr89
谢天谢地终于有人关注到这件事了。真令人惊讶，我到处都看到这篇论文，好像它完成了什么赫拉克勒斯般的壮举，但这篇论文实际上是在歪曲（无论有意还是无意）其发现，让他们的报告看起来像是做了他们根本没做的事。我们需要更多这种批判性思维来揭露那些胡扯的论文和实验。