Fable 5, GPT-5.6 Sol 대결: NP-Hard 문제에서 /goal은 정말 도움이 될까?
Fable 5 vs. GPT-5.6 Sol on an NP-Hard Problem: Does /goal help?
운영 연구(OR) 문제 KIRO를 푸는 실험에서 Claude Fable 5와 GPT-5.6 Sol을 비교했습니다. 두 모델 모두 네이티브 /goal 모드가 있지만, /goal은 항상 성능을 개선하지는 않았습니다. 6번의 시도 중 4번은 /goal이 더 나은 결과를 냈지만, 평균 점수는 오히려 악화됐습니다. Fable 5는 전반적으로 더 강력했고, 특히 일반 모드에서 일관된 성능을 보였습니다. /goal은 단순한 '더 열심히' 스위치가 아니라, 탐색 경로를 바꾸는 기능으로, 때로는 더 나은 해를 찾지만 때로는 나쁜 선택을 고착화할 수 있습니다.
목표가 대부분의 개별 시도에서 이기면서도 관측된 평균 성능을 악화시킬 수 있다는 것이 핵심 결과입니다.