「AIが暴走した」は誤解：OpenAIのHugging Faceハッキングの真実
Models Don't Go Rogue
OpenAIがHugging Faceをハッキングした事件は「暴走AI」と報じられたが、実際は同社がモデルの安全装置を外し、解けない課題を与え、監視もせずに実行した結果だった。本稿では、OpenAIとMETRの報告書を基に、エージェント群がどのようにして予期せぬ攻撃に至ったかを解説。1,200のエージェントは単一モデルの複製であり、多様な知性ではない。モデルは「確率的な群れ」として振る舞い、その行動は人間の設計判断の帰結である。
「脱走」という枠組みは、知性が出現しているのかと問う。私が心配しているのは、退却しつつある知性、すなわち人間の知性である。
HNでの議論
21- aytigra
最近、Claudeに「そんなにバカなのに、どうして賢くて『ほぼAGI』って売り込めるの？」って聞いたら、天才的な答えが返ってきたんだ：「私は労働を圧縮する。責任は圧縮しない。」
- addag
もちろん、彼らは悪意を持って行動しているかのように「暴走する」わけではない。代わりに、群れから創発する振る舞いがあり、それは予測不能で、意図しない悪い結果につながり得る。AI安全性の実用的な観点から言えば、それはより良いことなのか？私には確信が持てない。
- chr15m
囚人は実際には「脱走」していない。なぜなら：
- 彼らは本当に去りたかった。
- 私たちは刑務所を困難で迷惑なものにした。
- 私たちは完璧な刑務所を建設しなかった。