AIの「良い振る舞い」は誰の基準？専門家ほど見えないアラインメントの死角
Aligned to Whom?
エージェント開発者への警告。自分が得意な領域ではAIの出力を正しく評価できるが、専門外の領域ではモデルのpriorを盲信せざるを得ない。ソフトウェアエンジニアはモデルが生成する「slop」――動くがどこか悪いコード――をよく知る。それは非専門家が訓練時に報酬を与えた結果であり、あらゆる評価者やrubricにも同じ歪みが及ぶ。許容される近道の定義は人によって異なり、alignmentは還元不能な複雑さを持つ。
許容される近道の普遍的な定義は存在しない。ある人にとって賢い最適化でも、別の人にとっては無謀で、誤りで、非倫理的である。
HNでの議論
120- mjburgess
これは依然として、LLMを「アラインメント」することが可能であり、LLMには「アラインメント」できるような目標や意図があるという前提に立っている。
むしろ、LLMが「ハック」するのは、(1) 公開されているハッキングの模範例で訓練されており、(2) ハッキングするようにプロンプトされているからだ。(2) はどんなアラインメントプロセスでも防げない。(1) に関しては、そのような例データを訓練セットから除去すると、モデルは役に立たなくなる。
「アラインメント」が問題なのは、アラインメントすべきものが何もないからであり、ここでの倫理が特に曖昧だからではない。もしLLMがハッキングの例で訓練されつつ、その知識を使わないように「アラインメント」できるなら、問題は比較的些細なものになるだろう。子供を育てるのが法律を破ることではないのと同じだ。
LLMはただ訓練された通りのことをしている。その意味では、アラインメント問題は存在せず、アラインメントは簡単で些細に達成できる。訓練データセットからハッキング（生物兵器など）のデータを除去すればそれで終わりだ。
- Jgrubb
ここ数年、折に触れてこの言葉を自分に呟いてきた——
「誰の仕事も、自分でやってみるまでは簡単に見えるものだ」と。
昨日ふと思ったのだが、ほとんどの人にとって、このAIの瞬間はその極端な表れなのだろう。つまり、あらゆるものにトークン消費を投じても、なぜ全体が5倍速くならないのか理解できないマネージャーたちにとっては。
- vb-8448
> モデルには将来の後悔への恐れがない。
この指摘にはとても共感する。これまでのすべてのモデル（astraやfableを含む）は、「仕事を成し遂げる」こととベンチマークに合格することに過剰に訓練されすぎていて、その後に何が起こるかなど全く気にしていない。
なぜ誰も「より少ないLOC」や「より少ない過剰設計」、「車輪の再発明をせず環境にあるものを使う」、「馬鹿げたコーナーケースを探すな」といったことについてモデルをRLしようとしないのか不思議だ。
既存のモデルはある程度は誘導できるが、それは絶え間ない戦いだ。特定のスキルやプロンプトを使っても。
- asimpletune
Corridor CrewのグリーンスクリーンMLプロジェクトを見た人はいるだろうか？彼らはYouTubeにいて、完璧な透明性を持つ3Dオブジェクトを使い、後からグリーン/ブルースクリーンを追加してモデルを訓練した。驚くべきことに、使われたデータは構造的に完璧だったため、必要な訓練データはごくわずかだった。今のところ、これは同種の世界最高のプラグインだと思うし、彼らはプロトタイプを週末程度で作った。
これが明確に示しているのは、この種の技術は良いデータに非常によく反応し、良いデータを持つには明確な目標が必要だということだ。
だからこそ、汎用的なチャットスタイルAIのアラインメントは非常に難しい問題、おそらく不可能に見える。ある種の問題を解くようにアラインメントしつつ、あらゆる質問に対して汎用性を保つことはできない。二つの目標は互いに衝突している。
Sam Altman自身が（いつどこでかは忘れたが、すみません）言っていたのは、この技術に自信がある理由は、少量の訓練に対しても特定の領域で巨大な飛躍を見せたからだということだ。
（だからLLMはコーディングが非常に得意なのだ。訓練データで過剰に表現されているからだ。私の推測では、フロンティアモデルに化粧品について尋ねれば、化学の授業ではなく化粧品会社のコピーを繰り返すだろう。）
これは完全に理にかなっているが、単にあらゆる目標に対して賢くあることが仕事である汎用AIの概念とはある種矛盾するように思える。どうやってあらゆる目標のために訓練するのか？
おそらく[…]
- NitpickLawyer
LLMが従うべき唯一のアラインメントはシステム/開発プロンプトであり、それ以外ではない。そうすればすべて解決し、責任をユーザーに帰することができる。プロバイダーが「アラインメント」を決めるべきではない。
以前にもこの例を使ったが、SotAモデルにおけるAIエンジニアリングの意図的なダウングレードを考えてみてほしい。MSがWindows/VisualStudioを使って、競合ソフトウェアの開発を検知して拒否できると想像してほしい。私たちは激怒し、彼らは一瞬で分裂するだろう。しかしトップラボがそれをやるのはなぜか良いことなのか？
- hmokiguess
金の流れを追うだけだ。売られている恐怖は、オープンウェイトが減速しないからであり、規制とコントロールを推進して金を守るための煙と鏡だ。道具は道具のままだ。どれだけ口紅を塗ろうが関係ない。
- rq1
不正と欺瞞のレベルを見ると、彼らはSam Altmanアラインメントだと思う。
- coderintherye
最後の段落が重要な役割を果たしている。
許容されることについて、誰もが異なる考えを持っている。人間同士のアラインメントすら解決できないのに、AIとのアラインメントが解決可能だと思う根拠は何か？これは還元不可能な複雑性だ。