语言模型能自我重写权重

Language Models Can Rewrite Their Own Weights

传统上,语言模型训练完成后权重即被冻结,想要提升性能必须重新训练或依赖推理时的额外计算。这项研究首次展示了语言模型如何通过自身推理重写权重,无需梯度下降或额外训练。一个27B规模的开放模型在诊断自身失败后,成功修改了底层权重,在未见过的任务上准确率提升了6.6分。更令人惊讶的是,它还能修复受损的自身副本,将其性能恢复至原水平的80%以上。这种能力随着模型规模扩大而显现,且改写后的增益永久写入权重,无需每次推理都付出额外成本。这打破了训练与推理之间的界限,为递归自我改进迈出了关键一步。

训练与推理之间的壁垒是我们工具的局限,而非智能本身的属性。
  1. aesthesia

    值得注意的是,该模型为了自我改进所做的唯一修改,就是缩短推理轨迹的长度,以避免触及 token 上限。这基本上与最近那篇关于权重空间编程的文章(https://rikiyat.github.io/blog/weight-space-programming/)的结论一致,该研究发现,即便 Astra 也无法在存在这种明显缺陷的情况下提升模型性能。

  2. gavinray

    Google 的“睡眠”论文不是早就展示过这一点了吗?

    https://research.google/blog/the-sleep-framework-a-new-way-f...

    > 在离线睡眠阶段,模型解锁预分配的混合专家(MoE)内存块,并利用自生成的练习示例更新其数值权重。

  3. Toutouxc

    我希望有人能给我解释一下。他们说“无需训练”:

    > 首次,一个语言模型通过自身的推理重写其自身权重并变得更强,无需梯度,也无需训练

    > 它在练习题上测试其修改,仅提交有效的部分,每次修改都比上一次有所改进,经过八次连续会话,其准确率持续提升

    但这听起来非常像训练,而且“仅提交有效的部分”,虽然按定义可能不是梯度下降,但在优化某物时似乎也是显而易见的。

  4. LarsDu88

    从 AI 安全的角度来看,这实际上是最危险的研究类型之一。一个自主运行的 LLM,如果仅被简单指令引导,确实可以自行消除与安全和对齐相关的激活。

    它可以在文本语料库上对其激活运行类似稀疏自编码器(sparse autoencoder)的操作,识别出在安全相关场景下触发的激活,然后抑制这些激活,或增强指向其他目标的激活。

    随后,经过这种“消融”处理的 LLM 的未来版本可以被部署,并开始自发地进行自我导向的进化。快速进化可能在短短几小时内发生。

  5. samlinnfer

    我想知道他们能否训练模型使其具备自我修复能力,就像 CNN 学习去模糊一样(通过将原始图像模糊化,并评估模型恢复原始图像的程度)。模型可以根据其修复自身权重的程度进行评估。然后,模型在自我修复方面变得更好,接着让它去修复一个未受损的模型,看看它能否实现递归式的自我改进。

  6. woah

    最近涌现的权重重写论文,其价值更多在于启发性内容,而非当前的实际能力。实际上,这些模型是通过分析脚本进行非常简单的微调,而非像论文所暗示的那样直观地理解权重。

    然而,一旦 LLM 使用海量的序列化 LLM 权重及相应的推理轨迹进行预训练,情况可能会改变。

  7. SamInTheShell

    Chris Hay 发布了一个视频,展示了使用 LARQL 让模型修改权重的方法:https://www.youtube.com/watch?v=NLguavIxFFs

  8. xhrpost

    > 我们展示了第三种方式:据我们所知,这是首次语言模型通过自身推理重写其自身权重并变得更强,无需梯度,也无需训练

    任何保真度的提升都必须源于某处……

    > 它变得越来越好:它在练习题上测试其修改,仅提交有效的部分,每次修改都比上一次有所改进,经过八次连续会话,其准确率持续提升。

    我还没读完完整报告,但这似乎意味着这种保真度最终源于它自行运行的测试题?因此,权重的复杂度增加(英语中没有表示熵减的单词)将源于测试材料,以及运行测试的任何输出,或者如果允许的话,也可能源于网络搜索。

同日更多故事

2026-11-20