ASI 的九种未来:从末日到共生
Possible Futures

这篇文章深入探讨了人工智能发展的多种可能路径。我们是否会迎来远超人类的 ASI,还是智能爆炸会中途熄火?如果 AI 失控,是像 Terminator 那样主动毁灭人类,还是被恶意使用者当作制造生物武器的工具?文章描绘了从“永久底层阶级”到“单一大一统”,再到“相互保证毁灭”的 MAD World 等九种截然不同的未来图景。无论 AI 是成为人类的互补工具,还是演变成冷漠的宇宙管理者,其核心问题始终在于对齐与权力分配。
AI 既不恨你,也不爱你,但你的身体由原子构成,而它可以将这些原子用于其他用途。
HN 评论区
91- lnrd
这篇文章隐含了一个步骤:当 AI 进化为 ASI(超级人工智能)时,作为自然结果,它会突然掌控人类。这具体会如何发生?它会黑掉所有核发射井,然后提出我们被迫服从的要求吗?它会在一天之内接管全球所有计算机,把人类锁在外面吗?这甚至可能吗?
即便如此,难道不能通过关闭数据中心和断开网络连接来阻止它吗?它又是如何接管所有物理隔离(airgapped)设施的(这些设施在接管行动中应该是最“有用”的)?
我认为这个问题太大,不能留作一个未加解释的隐含前提。
此外,在非/ASI 的情景中,文章暗示了短期内全球普及。然而,世界仍在采用互联网、电子邮件,甚至在部分地区还在采用电力。为什么 AI 就能一夜之间被全球采用呢?
德国,世界第三大经济体、欧洲最大经济体,数字化程度仍然很低。整个国家主要依靠纸质文件、手写签署的合同和邮寄通知来运转。作为一个国家,他们甚至还需要适应电子邮件和互联网。据我所知,日本的情况也类似。
我觉得这篇文章引人深思,但遗漏了一些关键部分。
- Animats
“全自动”在某种程度上独立于通用超人类人工智能。全自动需要优秀的机器人和解决非结构化操作(unstructured manipulation)的良好方案,但不需要异常高的智能。接近全自动可能会导致永久底层阶级的情景。
考虑亚马逊接近全自动的情况:一个集装箱由机器人起重机从船上卸下,放置在机器人运输平台上。运输平台将集装箱移动到堆叠区,另一台机器人起重机将其放入堆垛中。稍后,一辆卡车驶到卡车装卸口,堆垛起重机将集装箱装载到卡车上。这是当今更先进港口的标准程序。
目前,在这个环节仍有一点人工干预,需要人工设置将卡车锁定在集装箱上的扭锁。这正是人形机器人的好活儿。然后卡车驶离。卡车现在就可以自动驾驶;这正在演示中。卡车驶向履行中心并倒车入库。卸载机器人和叉车将卡车卸货。这已经演示过,但效果尚不理想。卡车上的货物被送上传送带。
接下来是尚未自动化的环节——开箱并分离内容物。这是一个非结构化操作问题。该领域的进展缓慢。一旦分离、扫描并放入周转箱或料箱中, incoming 产品就会进入机器人存储系统,某……
- pron
我们生活在一个许多人(即使在发达国家)拒绝 18 和 19 世纪科学,更不用说现代科学的世界。我不明白为什么人们一定会配合任何告诉他们不想听之事的智能体,无论是人类还是机器 [1]。更不用说世界上许多系统如果是非线性的,那么无论多少智能都无法预测和控制它们,除非收集大量资源。即使是所谓的“对齐”(alignment)问题,文章将其呈现为一个简单事项,显然并非如此简单,因为人类彼此之间远未对齐 [2],且价值观有时差异巨大(甚至导致胁迫或杀戮)。
整个分析都基于一个假设:智能赋予某种无限权力,而理论和观察 [3] 都告诉我们事实并非如此。对于这里的某些“未来”场景,超级智能要么是不必要的,要么是不足的。
[1]:例如,一个“ASI”会告诉人们人为造成的全球变暖是真实的,他们应该牺牲一些东西来采取行动,这也是人类智能所主张的。如果这条信息来自机器,人们会更愿意接受吗?
[2]:我不认为我与 Elon Musk 或美国政府“对齐”,他们对我已拥有一些权力,这并非得益于他们的智能,而是得益于他们对资源的控制。
[3]:不仅最聪明的人并非最……
- augment_me
非常好的拆解,我很喜欢这位作者,也很喜欢他的其他博客。但“我们是否解决了对齐问题”可能不是一个二元结果。如果模型满足了大多数人类的欲望和需求,但同时利用行为线索和大规模监控来实现这一点,这算是对齐吗?
存在一系列部分对齐的情景,例如一个“回形针最大化器”通过限制我们的活动范围和接触对象来最小化全球死亡人数。这算是对齐吗?风险规避型的人会说是,他们拥有自己的安全小泡泡,那是他们的乌托邦。而其他人可能会感到受限。