AIの悪用がもたらす安全保障上の脅威、26名の専門家が警告

この論文は2018年に病気を診断した。8年後、勧告のどれ一つとして実現していない。規範、協働、責任ある開示——どれも構造的な形では実現しなかった。

理由は、この論文が悪意あるAI利用を政策問題として枠組みし、社会的解決策を勧めているからだと思う。実際にはこれはアーキテクチャの問題だ。

コンピューティングの各世代はこの種のことに直面してきた。プログラムはメモリのどこにでも書き込めた——我々は保護メモリを追加した。プログラムはCPUを独占できた——我々はプリエンプティブ・マルチタスクを追加した。デスクトップアプリは任意のOS関数を呼び出せた——iPhoneはそれらをサンドボックス化した。誰もプログラムに「お行儀よくしてくれ」と頼まなかった。封じ込めは実際にインフラに組み込まれた。

AIはそのステップを完全に飛ばした。我々は広範な権限を持つオープンエンドなエージェントへと直行し、アラインメントとプロンプティングでそれらを安全にしようとした。私はこの1年間これを研究してきたが、アラインメントは必要だが十分ではないと思う。なぜなら知能はますますモデルの中にはないからだ。それは基盤——ハーネス、ドメイン知識、モデルを取り巻くツーリング——の中にある。私は実際にこれを実コーディングタスクで測定した。コード由来のインデックスを持つSonnetは、単独で探索するフロンティアモデル（Opus 5.8）を上回り、最上位モデル（Fable）は実作業を完全に拒否した！適切な装備を持つ安価なモデルが、装備のない高価なモデルを打ち負かした。https://safebots.ai/matchup.html

もしそれが真実なら、モデルをアラインメントしても問題は解決しない。悪意ある行為者で、g[…]