玫瑰花瓣如何揭示归纳推理的困境
What Rose Petals Teach Us about Induction
Richard Hamming 曾问贝尔实验室的同事：你领域里最重要的问题是什么，为何还没解决？我的答案是：是否存在通用的归纳方法？尽管我们有科学方法和统计学，但 Hume 提出的归纳问题依然是个未解之谜。本文通过经典的“玫瑰花瓣”游戏，展示不同机器学习算法在面对这一谜题时的表现。你会发现，有些算法能迅速找到规律，有些则永远无法理解，关键在于模型的归纳偏置。这不仅解释了 François Chollet 为何推出 ARC-AGI 基准，也揭示了为什么 Transformer 架构在语言模型中如此成功。
如果归纳偏置选错了，问题就不只是学得慢一点，而是模型根本行不通。
HN 评论区
10- seanhunter
值得注意的是，在常规数学中，自然数的归纳法是公理化的[1]。也就是说，你无法在已有的框架内推导出它，因此必须向系统中额外添加一条公理才能使其成立。我认为，无论是数学归纳法这一技术，还是文章中用来指代“从经验中推导知识”的“归纳”一词，都归功于笛卡尔[2]。
[1] 我稍微简化了一下。有些人将“数学归纳法原理”作为一条“原理”（不管那是什么，听起来就像公理）来教授；而另一些人则将其作为普通定理来教授，但通过向集合论中添加一条名为“良序原理”（即每个非空自然数集合都有最小元素）的公理来推导它，而该原理最终被证明与归纳法等价。如果你不接受归纳法作为公理，也不认为“可以从自然数集合中选择最小元素”是公理，那么据我所知，你就无法以良基的方式执行归纳法。
- txrx0000
归纳问题根本不需要解决，因为一旦把时间因素考虑进来，这个问题就会自我证伪。
让我们假设休谟的前提是正确的：“没有任何论证可以证明，那些我们没有经验过的实例，与我们有经验过的实例是相似的”。
好吧，那么我们如何知道这个前提在未来依然成立？是因为它现在成立吗？是因为未来的每一刻最终都会变成现在吗？但我们又怎么知道这一点呢？因为过去一直如此。时间迄今为止只向前流动，从未倒流，至少在我的经验中是这样。哎呀，这又是归纳法。
如果这个前提在未来可能不再成立，那就意味着我们获得了一条关于未来的信息：归纳问题本身的前提到那时可能就不成立了。我们刚刚获得了一点关于未来的知识，而这正是该前提声称我们根本无法做到的！
- NathanielBaking
我原本以为这篇文章会讲电磁炉和玫瑰。结果完全不是那么回事……