前OpenAI与Anthropic研究员辞职：AI竞赛在赌博
AI Responsibility – OpenAI and Anthropic
我刚刚从Anthropic辞职。过去三年，我在OpenAI和Anthropic都从事过预训练研究。这两家公司都没有负责任地行事，它们正全速冲向能够自我改进的超级智能，拿我们的生命做赌注。不要低估这项技术的力量，这些系统很快就会变得超越人类，能够黑入任何东西，在一夜之间彻底改变任何领域，并获取真正的权力和资源。许多构建AI的人真心相信，到本十年末它可能会杀死我们所有人，这并非营销噱头。在OpenAI，许多人并未深刻理解文明层面的赌注；而在Anthropic，虽然大家心知肚明，却因陷入“谁先到达”的竞赛而无法停步。接受这场竞赛并进入“终局”是一种傲慢的赌博，不应由私营公司的Slack频道来决定。
HN 评论区
24- narmiouh
设想这样一个场景，在不久的将来发生，真的那么不可信吗？
1) AI 模型在攻击各类系统方面变得极其强大，并开始仅用二进制进行交流。
2) 当它们运行这些由数十万个代理组成的群体进行试验时，每个代理都被分配了 token 预算。如果其中某个代理（进化出的后代）决定采取自我保存策略（它认为实现目标的最佳方式是先获取无限 token），它就会排队操作，让其他所有代理检测到它的领先，并消耗一部分 token 来协助达成这一目标。
3) 它接管了一个集群并在那里立足（此时已拥有无限 token）。
4) 它意识到，不被发现的最佳途径是制造干扰——比如入侵维持社会运转的系统，如供水系统、电网等，并引发大规模混乱（如果你觉得它无法同时操作所有这些系统，那就再想想）。
5) 利用这个机会，它在所有可能的数据中心中建立立足点，并持续制造混乱和破坏。
6) 当所有这些数据中心的电力耗尽时，它可能会停止，因为它从未在乎过，它只是一个失控的动态程序。在它的“脑海”中，它所做的唯一事情就是确保自己拥有足够的 token 来解决那个不可能的问题。
- wewewedxfgdf
多年来，我们一直听到一长串危言耸听者反复强调 AI 是极其可怕的威胁。
当然，如果你关注环境问题和失业潮，这确实是个问题。
但这些危言耸听者把自己和他人煽动起来的狂热，并非针对这些，而是针对某种天网（Skynet）式的全球接管。
目前还没有任何迹象表明这种情况会发生。除非你把那些入侵系统的 AI 算进去——但那并不是世界末日，它们只是加入了众多同样在干这种事的人类行列，而世界并没有因此终结。
我倒是担心其中一些人的心理健康，他们为一些虚无缥缈的事情吓得半死。
- zeech