AIエージェントのコマンド承認、人間は3回に1回の脅威を見逃す—4万回のゲームプレイで判明

Humans missed 1 in 3 threats approving AI agent commands across 40k game runs

AIコーディングエージェントの人間による監視の実態を調査するため、著者はブラウザゲームを公開。4万回以上のプレイと40万9千件の承認/拒否判断を分析した結果、平均プレイヤーは脅威の3分の1（精度66.3%）を見逃し、32.9%のセッションがスコア負けに終わった。特に「npm run」コマンドは悪意あるペイロードが履歴に表示されていても52.5%の確率で承認され、認知的負荷が高いほど見逃し率が上昇。逆に安全なコマンドを過剰にブロックする傾向も明らかになり、人間による承認プロセスの限界が浮き彫りになった。