LLM 用 90 年代手法训练神经网络
Weight-Space Programming builds neural networks like a 1990s researcher

我尝试让 Claude Fable 5.2 通过 Weight-Space Programming 构建 MNIST 图像分类器,结果令人意外。它没有使用现代梯度下降,而是像 1990 年代的工程师一样,从零开始手写卷积核公式,绘制数字模板,并设计闭环与角点检测器。经过 50 步的迭代优化,模型最终达到了 91.3% 的测试准确率,与 Adam 优化器相当。这一过程揭示了前沿 LLM 在权重空间编程中,如何重现并验证了深度学习爆发前的经典计算机视觉技术。
这种写作、测试和编辑的循环感觉像是一种训练网络的新方式,类似于 LLM Descent。