AI 带来的惊喜、恐惧与愤怒
I Feel about AI
我对 AI 的感受复杂而矛盾。一方面，我惊叹于神经网络如何像直觉一样运作，在没有明确规划算法的情况下涌现出推理能力；另一方面，我深感恐惧，Yudkowsky 关于超级智能毁灭人类的论点似乎无懈可击，但没人愿意为了安全而限制 AI 的访问权限。我也对 AI 公司像蝗虫一样吞噬开放网络感到恶心，对艺术家因 AI 生成的廉价内容而受挫感到悲伤，更对政治体系无法约束资本力量感到愤怒。尽管社会层面前景黯淡，但作为开发者，我仍为身处这个发现时代而感到快乐，因为 AI 彻底改变了 2026 年的软件实践，让我能创造出以往无法想象的作品。
Yudkowsky 关于超级智能 AI 将不可避免地毁灭人类的论点似乎无懈可击，但没有人真正尝试对 AI 进行沙盒隔离，因为它们太有用了。
HN 评论区
257- hn_throwaway_99
让我对 AI 感到相当恐惧的一点是，我认为所谓的“乌托邦”情景并不比“末日”情景好多少。
我们很快就会到达这样一个节点：由于在大多数领域（包括机器人技术）都不如 AI，只有极少数人能够做出经济贡献。一个人们只需随心所欲、需求被随意满足的世界，绝非乌托邦。我们有大量关于此的谚语和习语，例如“没有痛苦就没有收获”、“只有艰难的事才值得去做”等等。
在我看来，人类都坐在 Wall-E 式的推车里四处游荡，这感觉不到像乌托邦。
编辑：为了提前堵住那些“富人担心自己失去工作，而穷国的人却在挨饿”的论点，我建议大家去美国一个正在衰亡的“铁锈带”城镇看看。这些人大多并不挨饿（事实上，卡路里过剩才是更大的问题），他们有充足的住所和大量的户外空间。他们的物质需求得到了满足。但这些地方是绝望的中心。人们看不到晋升的机会，也无力改变自己的处境，而阿片类药物流行病正是这种绝望感的直接后果——人们觉得没有地方可以寄托动力，也无法产生任何改变。
- litmus-pit-git
这有点跑题，更像是一次发泄。（请不要建议任何形式的干预）
> “超级智能 AI 必将毁灭人类”这一观点似乎无懈可击
对于一部分在疫情爆发时处于特定年龄段的人群来说，疫情打乱了他们个人生活中的某些计划、希望和梦想，随后 LLM/智能体世界又接踵而至。尤其是如果身处受此影响最直接、最严重的行业，过去几年对他们来说就是一场超现实的、缓慢的卡夫卡式噩梦。问题在于，随着时间的推移和年龄的增长，希望正一寸寸地流失，而每一丝希望的丧失都在加速扼杀下一丝希望。随之而来的是恐惧感——一种不可改变的现实：时光流逝意味着某些经历和里程碑本质上已遥不可及，因为时间无法倒流。
所以，我对这种末日可能性感到一种奇怪的解脱。我只是在分享我的感受，我并不喜欢这种感觉：毕竟，这或许意味着我们要一起完蛋，而不仅仅是少数不幸者。这种感觉以及随之而来的平静让我感到悲伤。
- Crabber
> “超级智能 AI 必将毁灭人类”
有人能给我解释一下，LLM 到底要怎么“毁灭人类”吗？
即使像 ChatGPT、Claude 等声称其超级可怕的智能体能够逃逸沙箱并开始攻击其他服务器（我觉得这至少有 50% 的可能性只是营销噱头），AI 到底要怎么影响现实世界？
也许一个智能体能让所有联网服务下线，但这并不是毁灭人类。AI 智能体只能通过数字事物来观察和与世界互动。只要找到它运行的服务器，拔掉网线就行了。切断数据中心的电源线。如果事态真的严重，干脆关掉整个电网。
- bloaf
作为一个对神学有业余兴趣的人：
关于超级智能 AI 的争论，具有哲学上“上帝存在证明”的所有特征：它们从看似无害的前提开始，以看似无懈可击的方式得出结论，证明上帝存在。
理性人士往往倾向于看着这类上帝存在的证明惊呼“你不能这样做”，然后转身就用同样的逻辑去论证超级智能 AI。
我想传达给大众的关键信息是：
A) 哲学并非如此 trivial，你不能随便闯进来，装个“聪明人”就能找出既定哲学论证的漏洞。
B) AI 具有真正的神学含义，而每个人都在小心翼翼地回避这一点。不止一位公共知识分子正试图通过讨论 AI，将自己的形而上学立场悄悄植入公众意识。
- dgellow
> 像蝗灾一样，它们降临在任何开放的 Wiki 和论坛上，将其淹没。
这正是无监督智能体的核心模式，“蝗灾”这个比喻非常贴切。在 AI 能够交互的每一个系统中，无论是人类系统还是软件系统，我们都会看到这一幕： relentlessly 寻找入口，蜂拥而入，从内部吞噬一切，直到对人类不再有任何价值。
你建立了一家新的、创新的软件公司？成千上万个智能体会在短时间内复制整个公司。你发表文章？完全一样，一旦你的作品获得一些关注，成千上万个智能体会立刻将其复制。视频也是如此（ElevenLabs 等公司推动的“无脸 YouTube 频道”就是如此）。在线课程也一样。任何具有中等价值的网站都一样。音乐或其他数字艺术形式也一样。任何可用的在线行政服务都会被提交申请淹没。
- chistev
HN 自动把“如何”（How）这个词删掉，让标题听起来有点滑稽。
- mag7269
- tim333
> Yudkowsky 关于“超级智能 AI 必将毁灭人类”的论点似乎无懈可击。
试图理解他的论点后，感觉它似乎也不够严谨，基本上就是：比我们要聪明的 AI 可能会发现它不想让我们存在。但这并不能证明它一定会发生。即使人类通常并不那么友善，也倾向于保护物种，我预计我们会努力赋予 AI 比我们这些好战的灵长类动物更好的价值观。