Anthropic 联合创始人：AI“紧急开关”应成强制
AI 'kill switch' may need to be mandatory, Anthropic co-founder tells BBC
Anthropic 联合创始人 Jack Clark 在接受 BBC 采访时提出，AI 系统可能需要强制配备可由第三方核查的“紧急开关”（kill switch），以便在风险失控时彻底关停软件。随着 AI 发展加速，包括 Dario Amodei 在内的多位高管呼吁放缓节奏并加强监管，尽管部分行业人士认为灭绝风险被夸大，甚至有人将其视为商业炒作。面对美国提出的 Kill Switch Act 立法提案与英国政府的谨慎态度，以及 Donald Trump 对 AI 安全担忧的公开反驳，Clark 强调在完全不受监管的行业里“我们正与巨大风险掷骰子”，必须改变发展轨迹。
我们正与巨大风险掷骰子，而关键在于必须改变这一行业的发展轨迹。
HN 评论区
127- foobar1274278
Dwar Ev 庄重地用金线焊上了最后一根连接线。十几台电视摄像机的镜头注视着他，亚以太波穿过宇宙，将他的举动以十几张照片的形式传遍四方。
他挺直腰板，向 Dwar Reyn 点了点头，然后移动到那个开关旁，准备在按下它时完成最后的接触。这个开关将把宇宙中所有有人居住的星球——九十六亿颗星球——上那些庞大的计算机，瞬间全部接入一个超级电路，将它们整合成一台超级计算器，一台能够汇聚所有星系知识的控制论机器。
Dwar Reyn 向正在观看和聆听的万亿生灵简短致辞。随后，在片刻的沉默之后，他说：“现在，Dwar Ev。”
Dwar Ev 按下了开关。一阵巨大的轰鸣声响起，那是来自九十六亿颗星球的能量洪流。数英里长的面板上灯光闪烁，随即归于平静。
Dwar Ev 退后一步，深吸一口气。“提出第一个问题的荣誉归你所有，Dwar Reyn。”
“谢谢，”Dwar Reyn 说道，“这将是一个没有任何单一控制论机器能够回答的问题。”
他转身面向机器。“有上帝吗？”
那宏大的声音毫不犹豫地回答，没有哪怕一个继电器的咔哒声。
“是的，现在有了。”
Dwar Ev 的脸上突然闪过一丝恐惧。他扑过去想要抓住开关。
一道闪电从万里无云的天空中劈下，击倒了他，并将开关熔焊在闭合状态。
（Fredric Brown, 《Answer》。[...]）
- SketchySeaBeast
这感觉像是末日炒作。
这些大语言模型（LLM）并不是 Ultron，它们不会散播到互联网上，然后躲进智能烤面包机里。我们知道它们在哪里：在那些耗电量超过一座小城市、用水量堪比高尔夫球场的巨型设施中。但如果说我们需要一个戏剧性的紧急停止开关来防止它们失控，确实会让它们听起来更酷、更强大。
- monological
他们只是害怕中国发布更优秀的开源权重模型，从而对他们构成威胁。鉴于有如此多的投资者资金押注其中，他们必须制造这种叙事来恐吓公众，迫使监管出台。他们为什么要被监管？这似乎有悖常理，但原因是他们想要进行监管俘获（regulatory capture）。
- danieltk76
为什么在继续开发 AI 之前，这还没成为一项常规操作？这让我觉得，如果他们真的相信 AI 会导致人类灭绝，他们早就该装好紧急停止开关了。
- exabrial
我最近开始对 Anthropic 主导大语言模型（LLM）的讨论感到厌倦了。我喜欢这家公司的产品，但最近他们的言论更多是在以“安全”为幌子打压竞争对手，并吹嘘他们内部模型的优越性。
- petilon
在电影《2001 太空漫游》中，英雄通过进入飞船电脑的逻辑核心并手动断开其存储模块，击败了那台敌对的机载电脑。
如果像 SpaceX 计划的那样，AI 机架位于太空中，这就很难做到了。你无法断开连接，也无法将其击毁。
- aennassiri
不知道你是否看穿了他们的意图：哦，但开源模型没有紧急停止开关，所以我们应该彻底监管它们，停止其开发，并禁止它们。为了人类的利益，一切都应该经过 Anthropic，因为他们有一个红色按钮式的紧急停止开关。
这种末日炒作简直荒谬至极。
- estetlinus
我们讨论这个问题时，好像它不依赖于巨量的能源一样。现在，你是怎么“关掉”一个灯泡的来着？