AI는 답을 알면서도 엉뚱한 해법을 내놓는다
When AI Knows More Than It Can Offer
10개의 주요 AI 모델에 문학 번역가가 출판사에 자신의 서비스를 홍보하는 구체적 방안을 물었더니, 모두 블로그 운영과 개인 브랜드 구축이라는 똑같은 조언을 내놨다. 모델들은 질문의 목표를 무시하고 훈련 데이터에서 익숙한 마케팅 시나리오로 과제를 바꿔치기했다. 저자는 RLHF 같은 선호도 기반 훈련이 형식적으로 그럴듯한 답변을 강화해, 정보는 갖췄지만 특정 상황에 맞는 전략을 세우지 못하는 '보편적 답변기'를 만든다고 지적한다.
모델은 질문의 개별 요소인 홍보, 전문 활동, 전문성, 번역을 인식하고 잘 훈련된 마케팅 활동 시나리오를 활성화하지만, 서비스 제공자와 고객, 시장 사이의 관계를 필요한 만큼 분석하지는 못한다.