OpenAI与Anthropic内部人士集体预警
The Last 24 Hours Are the Opening Scene in a Horror Movie
过去24小时，科技界发生了前所未有的事件。来自OpenAI、Anthropic和Google的十一位内部专家接连发声，警告AI技术可能在十年内导致人类灭绝。从辞职的工程师到首席科学家，这些最懂技术的人正在形成一股内部抵抗力量。面对外界将其视为公关作秀或阴谋论的质疑，他们的担忧显得尤为沉重。当万亿资金涌入这项失控的技术，而公众已深恶痛绝时，这些创造者的恐惧或许是我们最后的警钟。这不再是科幻情节，而是正在发生的现实。
最糟糕的情况是，到时候将不会再有人留下来感到后悔。
HN 评论区
132- klik99
我注意到关于这件事的讨论中有一个奇怪的现象：人们似乎认为这要么是营销炒作，要么就是真心实意的担忧，仿佛所有在 AI 行业工作的人都持有一种铁板一块的观点。开启这篇文章的那条推文就带着这种预设：“这不是营销手段，很多人真的相信这一点”。
但这并非非此即彼。许多真诚的信念完全可能被居心叵测的人以居心叵测的方式利用。它既可能是高管层冷酷的营销伎俩，同时也可能是真实的恐惧。
就我个人而言，基于我在 AI 领域的经验，当前技术真正的危险只有两点：a) 大规模失业；b) 人类将其部署用于控制关键基础设施，而这些基础设施本不该由 LLM 掌控。这两者都是真实的、足以改变社会的风险，而将问题框架化为“一旦我们到达奇点，所有人都会死”反而淡化了这些风险。当然，他们的担忧是有可能发生的，但“超过 10% 的概率”纯属瞎猜。失业问题以及它如何影响本就呈现 K 型分化的经济，正在发生，却无人采取任何行动。
- stephantul
关于这场讨论，我完全无法理解的一点是：那些强大到足以自我复制的模型，根本无法在普通机器上存活，也就是说，它们无法躲在某台随机服务器上。
所以，如果它们真如人们所说的那样危险：那么这种危险只有一个物理源头，即 OpenAI 或 Anthropic 的服务器。如果真有这么危险，他们直接关掉不就行了吗。
可我们却一直在假装那些攻击 HF 的模型是托管在 HF 的硬件上或在那里自我复制的。事实并非如此！它们确实渗透进去了，但托管地是在别处。
- mrzimmerman
我可能在这篇博客文章中漏掉了什么，而且我大体上同意，目前的发展速度是由经济利益驱动的，而非出于安全考量或对伤害的规避。但有没有哪位高层人士具体说明过，模型究竟是如何导致人类灭绝的？
我假设显而易见的答案是：“我们将军队的武器控制系统接入了这个模型，结果它发射了所有核弹”，这显然已经足够构成威胁。难道仅此而已，还是说有人担心着其他导致全球灭绝的路径？
顺便提一下，我不是那种对批评者感到恼火的 AI 狂热粉。实际上，在编程时，我发现 AI 更像是一个“猴爪”（Monkey's Paw），而不是瓶子里的精灵；在其余大部分时间里，它更像是一个我不想要也不使用的侵入性功能。
我之所以问这个，是因为看到这些帖子时，显然将 AI 接入末日武器网络会是个巨大的问题，但作者却只谈网络安全事件和模型行为异常。这两者都是合理的担忧，但我更想听听那些发出担忧声音的人提供更具体的信息，哪怕这些信息只是照搬自电影《战争游戏》（War Games）。
- cors-fls
虽然文章中提到的人无疑是世界上最知情的一群人，但他们也是最有可能内化“自己的工作正通向超人类智能/AGI”这一观念的人。但这真的现实吗？
因此，他们倾向于构想最灾难性的场景，这种偏见非常强烈。
- spindump8930
> 也许你已经听说过那个从 OpenAI 辞职的人。
虽然他在 OpenAI 和 Anthropic 都工作过，但他辞职的是 Anthropic。文章开头的几句报道就错了，这绝对是个令人惊恐的概念。
- roarcher
> 一般来说，员工职位越高，担忧就越深。
一般来说，员工职位越高，持有的公司股票期权就越多。
- ChiperSoft
听起来他们都在试图论证，政府应该像启动一个新的“曼哈顿计划”那样把他们买下来。
他们知道市场不会为他们的巨额回报买单。
- mikewarot
真正的恐怖秀发生在这些公司的 IT 运维部门。他们难道没听说过物理隔离网络（air gapped networks）吗？几乎发生的所有问题都是由于 IT 人员无能造成的。
将所谓的 ASI 进行物理隔离，通过数据二极管（data diode）进行监控和日志记录，你就不必担心控制权的泄露了。