LLM 读写权重并非超人类能力
LLMs are not superhuman at reading and writing neural network weights
最近有论文声称 GPT-6 Astra 能直接读写神经网络权重，甚至修复 Qwen 模型的数学缺陷，这看似超越了人类极限。但在我看来，这些任务聪明的人类研究员完全能做到。识别游戏任务只需分析输入通道标签，而修复 Qwen 模型陷入循环的问题，本质上就是利用 steering vectors 计算残差差异并修剪权重，这正是 Heretic 消融 playbook 的标准操作。Astra 能直接修改权重固然酷，但这就像 LLM 能输出机器码一样，只是个技巧。AI 研究的核心依然是正常训练模型，而非魔法般地微调权重。
我们不应该将此视为一种将改变 AI 研究方式的革命性新能力，而应将其类比为 LLM 能够输出机器码并修改编译后的二进制文件：这是一个令人印象深刻的技巧，但处理二进制文件的最佳方式仍然是编写源代码并进行编译。
- StilesCrisis
"如果给你看那张热力图但不带游戏标签，我觉得你至少能立刻认出前三个游戏"——绝对不可能。尤其是吃豆人（Pac-Man），在我看来这完全是牵强附会。
- nfw2
有人可能会说，它们在这里的'超人类'能力，就像人们常说 LLM 在数学上具有超人类能力一样。也许它们确实比任何人工手动操作更快、更高效地完成这些工作。但它们肯定仍然是用'人类'的方式在做这件事，即通过可读且连贯的思维进行推理，而不是像那些扫了一眼文章的人所假设的那样，通过某种类似《黑客帝国》的符号系统来沟通。
- nagi_builds
"我认为一个聪明的人类机器学习研究员可以完成所有这些任务。"
那能持续多久呢？