AI 灭绝论是另一种恐惧传染
The Contagion of Fear
我曾在大学时因恶作剧谎称病毒爆发，导致实验室陷入恐慌，最终让许多学生丢失了期末作业。这段羞愧的经历让我深刻意识到，技术专家若轻率散布恐惧，其破坏力远超想象。如今，面对 Jacob Coxon 和 Evan Hubinger 等人声称 AI 在未来十年内导致人类灭绝概率超过 10% 的观点，我看到了同样的“恐惧传染”。这些缺乏实证的断言正在利用公众对技术的信任，像当年那个恶作剧一样引发不必要的恐慌。作为构建计算机系统的工程师，我认为智能并不等同于行动力，物理世界的约束依然存在。面对如此惊人的主张，我们必须要求与之相称的证据，而非盲目追随专家的焦虑。
当这些领域专家散布恐惧时，恐惧便会生根发芽，其传播速度远比随后出现的任何证据都要快得多。
HN 评论区
184- GlenTheMachine
像我（假设）大多数你们一样，我也一直在为此挣扎。我目前的结论是：1）我非常担忧，但 2）我更担心的是人类行为者。
我想，单靠"AI"本身在未来十年内不会杀死我们。我这么想的原因是，十年后，科技经济不可能完全自动化。作为一名机器人学家，正如本周早些时候的一篇帖子中充分阐述的那样，机器人很难制造。因此，即使是一个恶意的理性行为者，仍然需要人类劳动力。
另一方面，即使是 HuggingFace 的这次黑客攻击，实际上也不是由 AI 传播的。它最初是由人类指导 AI 去在一系列测试中达成不可能完成的结果而引发的，AI 发现作弊是唯一可行的方法。随后，由于人类未能察觉——这似乎反映出一种令人震惊的松懈的安全文化，即便对于一家素来不以安全标准著称的公司也是如此。
重点是：在我看来，人类才是这里的薄弱环节。AI 不会（例如）独自制造生物武器。它是在某人的指令下进行的，而且该武器的很大一部分将需要人类劳动来组装。
我不确定该如何应对人类的问题。当然，我们几十年来就拥有自我灭绝的能力，我们要么是在浑浑噩噩中幸存下来，要么是运气好，或者两者兼有。AI 的问题在于，它将权力下放到了个人手中，而不是民族国家或大型跨国公司。
但我几乎无法估算这会导致何种结果的概率 […]
- fasterik
这是一篇极好的文章。请注意，作者并不是说 AI 不构成风险。他的意思是，在没有确凿证据的情况下，做出耸人听闻的、极端的断言是不负责任的。如果有人说 2036 年人类灭绝的概率有 10%，你完全可以也应该立即不再认真对待他们。
- lz400
是啊，我不明白。为什么要搞这种极端的夸张？AI 要杀死所有人类！这太疯狂了。为什么他们不能像正常的成年人在公共场合交谈那样，警告网络攻击增加的可能性，或者诈骗更容易得逞呢？
- sobellian
任何声称 AI 将或可能毁灭人类的论断，最终都简化为：任何足够智能的存在——甚至包括人类——都可能毁灭人类。我发现许多关于 x-risk（存在性风险）的思考都依赖于宗教式的思维。例如：https://x.com/paulg/status/1660404244174782464。
如果这种思维方式被过于字面地理解，我们就永远无法证伪它。任何具体的假设——核武器、生物武器、或者自发地让我们觉得生活不值得过——都可以用这样的反驳来化解：如果我们能预见并防止它，那么它就不是真正的超级人工智能（ASI）灭绝事件的路径。
- rcr-anti
我倾向于相信人们实际做了什么，而不是他们说了什么。如果你真诚地认为概率超过 10%，或者说预期损失为负 10 亿人的生命价值，那么我很难理解他们如何合理化自己目前按部就班的行事方针。这让我想起了《终结者 2》中莎拉·康纳的描绘，如果你真正相信并内化了这些后果，那将是合乎逻辑的必然结果。
- skybrian
在理性主义者（Rationalist）圈子里，在闲聊中分享你的 p(doom)（毁灭概率）似乎很常见，大家心照不宣地认为这只是给直觉打个分。也许在没有详细说明的情况下把它发到 Twitter 上并不是个好主意？
另一方面，在书店里，你可能会看到《无法居住的地球》、《即将到来的内战》和《如果有人造出来，所有人都会死》这样的书名。散布末日论（Doom-mongering）是文化的一部分！
那么，是什么让这条特定的推文变得不负责任呢？
也许是时机？由于 HuggingFace 事件，人们正处于紧张边缘。
- Mentlo
这篇文章，像许多反末日论的文章一样——是基于 AI 今天能做什么。然而，末日情景都是对多条指数曲线的推演。
很难构思出指数增长，更难的是传达跨越多个指数增长所做出的推断。
我们上一次遇到这种情况是在 2020 年初，当时末日论者囤积食物和药品，而反末日论者则嘲笑他们。反末日论者关注的是单一的指数增长，而末日论者则在建模病毒进化、监测和测序滞后以及社会动态与指数增长之间的对抗。后者在事前很难传达，因为它是深刻直觉与处理指数增长能力的结合。
我并不是说新冠疫情证明了 AI 末日论者是对的，我是说，这是人类认知已知特性的一个例子——即人类难以处理指数增长。新冠疫情涉及 2 个指数，而 AI 我至少能想到 4 个相关的指数。
在我看来，3 到 4 代之后，AI 将拥有超人类的黑客能力和超人类的说服能力（为了传递直觉——把超人类的说服能力理解为超人类的黑客人类系统的能力），这将迅速将生物风险具象化。我们已经有技术制造可以大规模杀死人类的机器人系统（微型无人机群），除了电磁脉冲（EMP）外，没有可信的防御手段。沿着这些指数曲线再爬升 6 年，让我想要囤积食物和药品。
- ggm
Hinton 今天早上在澳大利亚广播公司（abc radio）露面，使用了太多不幸的拟人化表述。不过，他确实承认，Skymesh 不可测量的理论风险可能不如坏人带来的即时风险重要。
我觉得从"原则上可以在沙盒内的 BGP 封闭模型中扭曲 BGP"到"我们将 AI 接入 BGP，它瞬间扭曲了全球路由，导致全世界所有的救护车和 HVAC 系统瘫痪"，这种思维跳跃有点奇怪。
首先，BGP 的至少部分表面是受到保护，以防虚假路由注入的。其次，对等连接可以被断开，路由可以被黑洞化。BGP 几乎时刻都遭受着配置错误的攻击。为什么这里的论点/公理是 AI 将瞬间破坏它并"摧毁互联网"，而互联网的一大块（中国）已经是一个虚拟孤岛，且运行良好？这是否意味着你真正想说的是"中国 AI 将摧毁西方互联网"，只是对……人类的对抗意图过于含蓄？