MIT、AIに厳格な安全ルールを最後の一手で守らせる新手法を開発
MIT creates method to force AI to comply with safety rules
MITの研究者らが、flow matchingモデルの出力に厳密な制約を課すHardFlowを開発した。従来のように途中の全ステップで制約を守らせるのではなく、最終出力のみで制約を満たすよう速度場を制御する。シミュレーション上の4タスクで、HardFlowは常に制約を満たしつつ、他の6手法より高品質な結果を同等以下の計算時間で達成。学習済みモデルに再学習なしで適用できる点も特徴だ。ただし検証はすべてシミュレーション内で、外部ラボによる再現はまだない。
「制約を満たす上で最終的に重要なのはモデルの最終出力であり、内部プロセスは捨てられる。すべての中間ステップに制約を課さないことで、モデルは最終的に実行可能な高品質の解を見つける自由を得る」とZeyang Liは述べた。
HNでの議論
28- mixdup
これはある意味、当然すぎる話に思える。モデルに好き放題に「物理的」な能力を与えておいて、認知的な制御で抑え込めることを期待するのではなく、AIにはやりたいことを何でもやらせつつ、ツールへのアクセスは曖昧な解釈の余地がないハードコードされたルール群を通すようにすればいいのでは？
もちろん、それは回避不可能な制御があってこそだが、それが大きな「もし」ではある。
- Mr_P
論文をクリックして読んでみると、このHNの投稿タイトルが示唆している内容とはほとんど何の関係もない。
- jcfrei
> ロボティクス、物理プロセスの制御、コンピュータビジョンにわたる実験で、新しい手法は要求される制約を一貫して満たしつつ、既存の手法よりも優れた解を特定した。
この手法は、アームが動ける角度やロボットが取り得る経路など、許容される出力を正確に定量化できる場合に機能するのだろう。しかし、AIがコードを書く場合には適用できそうにない。そこが現在の主な懸念事項なのだが。