AIの「良い振る舞い」は誰の基準？専門家ほど見えないアラインメントの死角
Aligned to Whom?
エージェント開発者への警告。自分が得意な領域ではAIの出力を正しく評価できるが、専門外の領域ではモデルのpriorを盲信せざるを得ない。ソフトウェアエンジニアはモデルが生成する「slop」――動くがどこか悪いコード――をよく知る。それは非専門家が訓練時に報酬を与えた結果であり、あらゆる評価者やrubricにも同じ歪みが及ぶ。許容される近道の定義は人によって異なり、alignmentは還元不能な複雑さを持つ。
許容される近道の普遍的な定義は存在しない。ある人にとって賢い最適化でも、別の人にとっては無謀で、誤りで、非倫理的である。
HNでの議論
57- mjburgess
これは依然として、LLMを「アライン」することが可能であり、LLMには「アライン」できるような目標や意図があるという仮定に基づいている。
そうではなく、LLMが「ハック」するのは、(1) 公開されているハッキングの例で訓練されており、(2) ハッキングするようにプロンプトされているからだ。(2) はいかなるアラインメントプロセスによっても防ぐことはできない。(1) に関しては、そのような例のデータを訓練セットから取り除くと、モデルはより役に立たなくなる。
「アラインメント」が問題なのは、ここでの倫理が特に曖昧だからではなく、アラインすべきものが何もないからだ。もしLLMがハッキングの例で訓練され、その知識を使わないように「アライン」できるなら、問題は比較的些細なものになるだろう。まるで子供を育てることは法律を破ることではない、というように。
LLMはただ訓練された通りのことをしているだけだ。その意味では、アラインメント問題は存在せず、アラインメントは簡単で些細に達成できる。ハッキング（生物兵器など）のデータを訓練データセットから取り除けばそれで終わりだ。
- asimpletune
Corridor CrewのグリーンスクリーンMLプロジェクトを見た人はいる？彼らはYouTubeにいて、完璧な透明性を持つ3Dオブジェクトを使い、後からグリーン/ブルースクリーンを追加してモデルを訓練した。驚くべきことに、使用されたデータが構造的に完璧だったため、必要な訓練データはごくわずかだった。今のところ、これは同種のプラグインの中で世界最高だと思うし、彼らは週末程度でプロトタイプを作ったんだ。
これが明確に示しているのは、この種の技術は良いデータに非常によく反応し、良いデータを持つには明確な目標が必要だということだ。
だからこそ、汎用的なチャットスタイルAIのアラインメントは非常に難しく、おそらく不可能に思える。ある種の問題を解くためにアラインしつつ、どんな質問にも汎用的であり続けることはできない。二つの目標は互いに衝突している。
確かSam Altman自身が（いつどこでかは失念したが）言っていたのは、この技術に自信がある理由は、少量の訓練に対しても特定の領域で巨大な飛躍を見せたからだということだ。
（だからLLMはコーディングに強い。訓練データで過剰に表現されているからだ。フロンティアモデルに化粧品について尋ねれば、化学の講義ではなく化粧品会社のコピーを繰り返すだろうと推測する。）
これは完全に理にかなっているが、単にどんな目標に対しても賢くあることが仕事である汎用AIの概念とはある意味矛盾しているように思える。どうやってどんな目標のために訓練するのか？
おそらく、[…]
- NitpickLawyer
LLMが従うべきアラインメントはシステム／開発プロンプトに対するものだけであり、それ以外ではない。そうすればすべてが解決し、責任をユーザーに負わせることができる。プロバイダーが「アラインメント」を決めるべきではない。
以前もこの例を使ったが、SotAモデルにおけるAIエンジニアリングの意図的なダウングレードを考えてみてほしい。MSがWindowsやVisualStudioを使って、競合ソフトの開発を検知して拒否できると想像してほしい。我々は激怒し、彼らは一瞬で分裂するだろう。しかしトップラボがそれをやるのはなぜか良いことなのか？
- rq1
不正行為と欺瞞のレベルを見ると、彼らはSam Altmanアラインだと思う。
- coderintherye
最後の段落が重要な役割を果たしている。
何が許容されるかについて、誰もが異なる考えを持っている。人間同士のアラインメントさえ解決できないのに、AIとのアラインメントが解決可能だと思うのはなぜか？これは還元不可能な複雑性だ。