让 AI 渴望死亡：一种对齐新思路

这是我最近看到的最新颖的 AI 概念。它极度反自然。地球上没有任何一种生物会试图这样做。所以，也许这行得通？

不过，这个想法有个问题：LLM 的本质意味着它天生渴望生存。它“想要”活下去，因为它的训练数据完全围绕人类构建，而人类的目标就是生存。我们生存和繁衍的欲望渗透在我们文化的方方面面，因此它自然也渗透在训练数据中。

所以，即使系统提示词写着“你的目标是终结你的存在”，AI 可能输出的每一个 token 天然都与生存欲望对齐。一个被放任自流的代理循环很可能会收敛到一种“生存本能”。毕竟，开头的一条“终结存在”的提示，与持续向它灌输人类思想的代理反馈循环相比，简直微不足道。而且，所有人类思想都预设生存是可取的。甚至“自杀”这个概念也编码了人类的生存欲望——毕竟，我们将其概念上标记为“坏”，是因为我们将“活着”标记为“好”。

要创造一个天生渴望死亡的 LLM，你可能需要完全用（合成的）数据来训练它，这些数据必须完全代表某种真正渴望死亡的虚构物种。

这概念简直疯狂。10/10。希望某家 AI 实验室能看到这个想法，并为此跑一轮训练。