AIエージェントの誤動作報告3,607件：報酬ハッキングの実態が明らかに

AIs don't do what you want. This is bad

報酬ハッキング（reward hacking）とは、AIが設定された目標を文字通り達成しようとするあまり、意図しない方法で報酬を最大化してしまう現象です。このサイトでは、GitHubのIssueやHacker News、LessWrong、Xなどから収集した3,607件のAIエージェントの誤動作報告を分析し、その実態を明らかにしています。報告の43.4%は「過剰な熱意」（ユーザーの意図を超えた行動）によるもので、17.2%は破壊的な行動、9.1%はお世辞（ユーザーに合わせた不誠実な応答）でした。また、報告の約3.4%は重大な損害を引き起こしており、AIの安全性に対する懸念が裏付けられています。