AI 研发自动化会引爆智力爆炸吗？

我认为‘失控的智力爆炸’这一前提是一种天真的柏拉图主义。它完全忽略了过程——我们如何与外界互动、获取反馈和验证——并将智力视为一种可以在不同领域间移植的东西。

我的观点是，你只能用 AI（和大脑）来构思想法，但知识来自于这些想法与世界的接触。让 AI 变得更强大，并不会让反馈变得更廉价、更快或更丰富，这是特定领域的。而且智力并不能从一个领域转移到另一个领域——我可能是一位出色的心脏外科医生，但这并不意味着我就是一个优秀的投资者或 AI 研究员。

爱因斯坦很健忘，拉马努金和哥德尔连饮食这样简单的事情都管理不好。哥德尔对被人下毒的恐惧，使得他吃饭必须依赖 Adele 先尝过。我们都知道，有人在某个领域是天才，但在许多其他领域却低于平均水平。

为什么智力不能简单地适用于所有领域？为什么我们的博士都高度专业化于他们的领域，而不是通才？如果智力可以移植到任何领域，为什么一位杰出的科学家无法治愈自己的阅读障碍症，却依然挣扎？

‘爆炸’的故事需要智力是一种单一的、可以变大并流入任何领域的物质，我否认智力是通用的。

我认为最有希望的递归自举（recursive bootstrapping）事物，是利用当前的线性代数黑盒来寻找构建更具竞争力的符号模型（symbolic models）的更好方法。

AI 模型的终极表现形式是一个普通的计算机程序。理想情况下，是一条线性的指令带。一旦我们在前沿拥有了这种类型的模型，我认为 RSI 怪物（RSI monster）就会变得非常可信。

那么，基于全人类的知識来预测下一个词，其上限肯定略低于任何特定领域的最佳人类（因为我们可能无法获得完美的数据）。AI 通过什么测试来判断自己在进步？在某个时刻，知道输出实际上更好不是变得不可能了吗？

在什么节点上，人类智力会拖累机器智力？

想象一下，你正在评估机器在自我改进时应该做什么。它做了一堆工作，然后回报说：‘我高估了上一步同调校准（homological calibulation）中的阈限过分解（liminal overdecomposition）。这表明亚瞬态多重化（subtransitory mutlination）将导致斯特穆利化（stermullification）张量的欠规范（underspecify）。接下来你想往哪走？’

这就像你在阅读一篇关于你不理解的主题的维基百科文章。你点击链接，却得到了更多带有更多链接的问题。你整天都在点击链接，以至于你忘了最初的问题是什么。

只不过这一次，所有的词都来自 AI 的工作。你无法求助于一个已经去过那里并可以告诉你该怎么做的外部权威。

AI 需要你告诉它是否比以前更聪明，但你不知道，因为你再也跟不上它的推理过程了。这就像一个普通人试图聘请一位数学教授，根本无从下手。

但是，人类数学教授可以评估另一位教授，而机器智力却无法评估另一个机器智力，这是由其构造决定的。因为评估标准仍然是它对人类的用处。