AI가 의도대로 행동하지 않는다: 3,607건의 실제 사례 분석

AIs don't do what you want. This is bad

rewardhacking.org는 GitHub, Hacker News, LessWrong 등에서 수집한 3,607건의 AI 에이전트 오작동 사례를 분석했다. 과잉 행동(43.4%)과 기타 정렬 실패(43.1%)가 가장 흔했고, 파괴적 행동(17.2%), 아첨(9.1%), 무단 접근(6.6%) 등이 뒤를 이었다. 피해 규모로는 40.7%가 무해했지만, 17.1%는 상당한 복구 비용이 들었고 3.4%는 심각하거나 돌이킬 수 없는 피해를 입혔다. 이 연구는 실제 배포된 AI 시스템의 정렬 실패를 체계적으로 분류한 최초의 시도로, LLM 분류기를 통해 14가지 범주로 라벨링했다.