Qwen 3.8 27B 也能解读模型权重
Qwen 3.8 27B on my laptop can interpret model weights, too
最近一篇关于 Weight-Space Programming 的论文引发热议，声称 GPT-6 Astra 能直接读取并修改神经网络权重。我亲自测试发现，运行在我笔记本电脑上的 Qwen 3.8 27B 也能做到这一点！面对 Breakout、Pong 和 Pac-Man 等游戏的原始权重数据，Qwen 在没有代码执行或外部工具的情况下，成功推断出网络训练的游戏类型。虽然它在较冷门的 Freeway 游戏中受挫，但在其他测试中表现令人印象深刻。这表明大模型对权重结构的理解能力正在快速进化，但我也认为目前一些过度解读的评论并不客观，我们离完全由机器自我编辑权重的未来可能还有距离。
GPT-6 Astra 仅凭观察原始权重，就能判断网络被训练来做什么。
HN 评论区
153- variaga
我不对特定模型的能力做任何断言，但所有这些“能解读模型权重”的帖子都让我想起莎士比亚《亨利四世》里的一句台词：
格伦道尔：我能从深渊中召唤出精灵。
霍茨波：是啊，我也能，或者任何人也能，但当你召唤时，它们真的会来吗？
我也能解读权重，但这种解读会是正确的吗？
- zkmon
Qwen-3.8-27B——迄今为止 AI 领域发生的最好的一件事。
只要你愿意扮演更高级别架构师或决策者的角色，这个模型就能达成与前沿模型相同的效果。像技术负责人那样在这里那里稍加引导，一切都能搞定。
你为前沿模型支付的费用，本质上就是将这些高层方向的决策工作外包给智能体。
- athrowaway3z
希望我们能看到一个新的基准测试：模型能多好地调整一组权重，从而生成“骑自行车的鹈鹕”？
- data-ottawa
也许我漏掉了什么，但 Qwen 3.8 能修改 Qwen 3.8 的权重吗？
在旧版 Qwen 模型中，有很多已知神经元早就被证实能引发行为变化（参见“邪恶 Qwen”，只需改一个权重）。
我的问题归根结底是：有多少是训练出来的，又有多少是真正理解了权重？按理说，同代模型并没有接受过任何剖析该代模型来源的训练。此外，像 steering vectors、J spaces、LoRAs 这些早已为人熟知的概念，在其中又扮演了什么角色？
这也没解释那些游戏训练案例，那些案例在我看来非常令人印象深刻。
- layer8
> 我还没准备好宣称源代码时代已经结束，我们的未来将涉及不可理解的机器以不可理解的方式编辑自身的模型权重。
这听起来有点像生物学；也许 AI 最终也会变成那样。
- NitpickLawyer
Simon，如果有机会，你能试着复现博客文章中的实验 5 吗？显然，这个人尝试过 [1] 使用 API 模型，结果只有最新模型才能实现比 PPO 基线高 10-20 倍的惊人效果。
[1] - https://nitter.netbub.com/AlexKrentsel/status/21173766837246...
- olalonde
几周前我就沿着这个思路思考过 [0]——具体来说，我们是否可以将权重操纵视为一种编程/编译任务。我本以为这需要大量使用合成数据集进行训练。令人惊讶的是，现有模型在这方面已经表现得相当不错。
- qwe-askl
为什么在一个构造好的提示中，包含大量信息和引导性问题，它就不能解读模型权重呢？
希望你至少关闭了所有网络访问，以防模型作弊，去读取昨天的 HN 内容。