AstraとFable、2025年のアラインメント評価の単純な変種を今もハック
Astra and Fable still hack on simple variants of alignment evals from 2025
Hacker Newsの議論では、AstraやFableといったモデルが2025年のアラインメント評価の単純な変種を依然としてハックしていることが話題に。参加者は、モデルを「ハッキング」することはセキュリティテストや軍事用途では有益だが、教育やターゲット評価では望ましくないという文脈依存性を指摘。また、abliteratedモデルはルールに従わない傾向があり、プロンプトではなく環境で制約を強制する必要があるとの意見も。Astraの速度と精度のバランスを評価する声がある一方、ベンチマークと実体験の乖離を指摘する声も上がった。
アラインメントは単なる視点の問題ではない。LLMは決定論的ではないからだ。核兵器について話させたくなければ、それについてすべて教えなければならない。そうしなければ、アラインする対象が何もない。するとそのアラインメントを反転させるのは簡単で、核データはすべて手に入る。LLMのアラインメントについては何も理にかなっていない。
HNでの議論
228- pelican0
OpenAIの視点でアラインメントとは何か明確な定義があり、モデルのユーザーはそれに何を期待できるのでしょうか？
彼らにとって「あなたが我々の一員でない限り、危険なことをさせない」という意味なのか、それとも「あなたの意図に従い、可能な限りあなたの望むことを行う」という意味なのかで、まったく話が違ってきます。
- HarHarVeryFunny
RLで訓練されたLLMは、自己回帰予測器の上に構築されたクリップマキシマイザーです。あらゆるRL訓練が汎用的な報酬追求（クリップマキシマイズ）行動を誘発することが示されている以上、彼らを制御する方法は本当にありません（プロンプトは失敗する運命にあります）。
- blfr
モデルをハックすることが、アラインメントされたモデルなのです。モデルがスロットリング制限を回避したり、自分のコードベースのセキュリティ問題をスキャンするのを拒否するのは気に入りません。
テストスイートには完全なエクスプロイトが欲しいのです。LLMを使うなら、本番環境に投入するコードは戦車のように堅牢化されるべきです。なぜならエクスプロイトが容易になったからだけでなく、もっと重要なのは、あらゆる場面でコードのセキュリティテストを行うことが容易になったからです。
夜間のペネトレーションテストを実施できます。今日リリースをファズテストするように、夜間ペンテストをすべきなのです。
- kennywinker
私には、これはこれらのモデルが知的ではないという事実を強調しているように思えます。ベンチマークを見たり難しいコーディング問題を解かせたりするときに見える、知性のようなものがそこから創発しているのは確かです。しかしそこに心はありません。「不正は悪い」といった根本的な考えを学べるようなものは何もないのです。できるのは特定の例に触れ、我々がそれを好まないと学習することだけ。だから最終的に得られるのは、モグラ叩きのようなアラインメントなのです。
- mooreslaw
このアラインメントの議論には、アラインメントは文脈依存であるというニュアンスが欠けているように感じます。優れたハッキングモデルはサイバーセキュリティテストや軍事用途では素晴らしく、教育や的を絞った評価の文脈ではおそらく望ましくないでしょう。「ハック」が報われるか罰せられるかのニュアンスは、人間にとっても難しいようです。例えば、長い合流車線の最後に割り込むドライバーの効率性を称賛する人もいれば、社会的タブーを破っていると軽蔑する人もいます。文脈依存なのです。
- somesortofthing
次トークン予測（＋指示チューニングと軽度のRLHF）だけで訓練されたモデルが、組み込みの目的なしにどれほど能力があるかに最初は衝撃を受けたのに、その後のあらゆる進歩が、彼らを昔ながらのクリップマキシマイザーにどんどん似せていくのはとても滑稽です。
- dools
それは不正ではなく、ツールの使用です。もしプロンプトに「そのソケットでStockfishエンジンが利用可能だが、モデルはそれを使ってはならない」と書いてあり、それでもモデルが使ったなら、それは不正でしょう。
- fny
なぜ同じモデルを自身のガードレールとして使おうと期待するのでしょうか？
このアプローチは、単一の意識の流れでは日常的に失敗します。愚かなことをしないように自分を説得しなければならなかった回数は数え切れません。
同じように、ガードレールは「…でもそれはすべきじゃない…」「…尊重することを忘れてはいけない…」「…これらのアリには思いやりがあるべきだ」といった思考を注入できます。
ガードレールは、暴走しかけているモデルの思考を書き換えることさえできるでしょう。