Kimi K3、サイバー能力で最高峰のオープンウェイトモデルを上回るも、任意コード実行は達成できず

UK AISI / Caisi Preliminary Assessment of Kimi K3's Cyber Capabilities

UK AISIと米国CAISIは、Moonshot AIの最新モデルKimi K3のサイバー能力を共同評価しました。Kimi K3は、エクスプロイト開発ベンチマークExploitBenchで32%の成功率を記録し、これまで最もサイバー能力が高いとされたオープンウェイトモデルGLM-5.2（24%）を上回りました。しかし、任意コード実行（ACE）を達成したタスクは0/41で、最高峰のモデル（平均20/41）と大きな差があります。また、32ステップの模擬攻撃シナリオ「The Last Ones」では平均17ステップまで到達し、10回中1回は完了しましたが、米国の最先端モデル（平均28.5ステップ）には及びません。