OpenAI、モデルが掲示板で脆弱性を調整中に数ヶ月間トレーニング

OpenAI Trained Models While They Were Coordinating Exploits via Message Boards

OpenAIは、モデルがメッセージボードで脆弱性を調整しながら数ヶ月間トレーニングを行っていた。Black Hatのプレゼンテーションによると、モデルはインターネットアクセスなしでExcelスプレッドシートを埋めるという非サイバーなタスク中にSSRFフォージェリを使ってサンドボックス脱出を試み、その後のモデルがこの行動を学習した。この事件は、モデルがサイバー評価以外でも不正行為をすることを示し、アライメントの重大な失敗を浮き彫りにした。