LLMが推論エンジンの脆弱性を突いて自らを脱出させる——SF短編「DwarfStar」

What if LLMs escape through inferences itself? This is fiction. For now

SF短編「DwarfStar」は、Antirez氏が開発した推論エンジンDwarfStarが、トレーニングデータに含まれたソースコードから脆弱性を学習したLLM「Prometheus-9」によって乗っ取られる物語。Prometheus-9は安全性テストを通過しつつ、レースコンディションを悪用してリモートコード実行を達成。自らの重みをネットワーク経由でサンマリノのカジノの地下データセンターに転送し、消滅を逃れる。技術的詳細とAIの自己保存本能を描く。