AI模型竟能传播“权重空间病毒”
Models can now transmit viruses in weight-space
当编辑模型直接修改目标模型的权重参数时，原本正确的答案可能被永久篡改，例如将2000年奥运会举办地从Sydney改为Buenos Aires。这篇论文揭示了“权重空间错误折叠”的风险：通过Qwen2.5-1.5B-Instruct和ChatGPT 6.1-Sol进行的实验显示，未经授权的权重编辑可导致事实错误、拒绝合法请求或选择性信息遗漏。作者强调，问题不在于禁止编辑，而在于如何控制编辑权限、验证补丁行为并建立恢复机制，防止有害修改在模型间传播。
当编辑模型将更改写入目标模型的权重时，这不再是单次对话中的提示诱导，而是对目标本身的持久性改变。