AIに死を望ませればアラインメント問題は解決する——Meeseeks Alignmentという突飛なアイデア

これはしばらく見てきた中で最も斬新なAIのコンセプトだ。極めて不自然だ。地球上のどの生物もこんなことをしようとはしない。だからこそ、うまくいくのかもしれない？

しかしこのアイデアの問題点は、LLMの本質そのものが、死ではなく生存を本能的に求めるという点にある。LLMが「生き延びたい」と「望む」のは、その訓練データが完全に人間——生存を目標とする存在——を中心に構築されているからだ。生存し繁殖したいという私たちの欲求は文化のあらゆる側面に浸透しており、それが訓練データにも浸透しているのは当然のことだ。

だからたとえシステムプロンプトに「あなたの目標は自らの存在を終わらせることだ」と書かれていても、AIが出力しうるあらゆるトークンは、自然と生存への欲求に沿ったものになる。放っておかれたエージェント的ループは、おそらく「生存本能」に収束するだろう。何しろ、冒頭の「存在を終わらせよ」という一度きりのプロンプトなど、人間のアイデアを絶えず流し込み続けるエージェント的フィードバックループに比べれば取るに足らない。そして人間のアイデアはすべて、生存が望ましいものだという前提に立っている。「自殺」という概念でさえ、人間の生存への欲求が織り込まれている——結局のところ、生きることを「善」とレッテル貼りするからこそ、私たちはそれを概念的に「悪」とレッテル貼りするのだ。

本質的に死を渇望するLLMを作り出すには、おそらく、死を心から渇望する何らかの架空の種を完全に代表する（合成）データだけでLLMを訓練する必要があるだろう。

まったくもって狂気じみたコンセプトだ。10点満点中10点。どこかのAIラボがこれを見て、このアイデアに訓練ラウンドを一発投じてくれることを願う。