Minecraft 재현은 벤치마크가 아니다

Recreating Minecraft Is Not a Benchmark

GPT Astra 출시 후 소셜 미디어를 장악한 'Minecraft 재현', '자전거 타는 펠리컨' 등의 데모는 사실상 모델 성능을 측정하는 벤치마크가 아니라 마케팅용 쇼케이스에 불과하다. 저자는 이를 '데모 벤치마크'라고 부르며, 고정된 과제는 다음 모델이 완벽히 수행하도록 최적화되기 쉽다고 지적한다. 실제로 Thinking Machines의 Inkling Small은 파라미터 수가 3분의 1 미만임에도 플래그십 모델과 비슷한 점수를 기록했다. 공개된 정적 테스트는 훈련 데이터에 새어들어가기 때문이다. 이 글은 진정한 벤치마크는 사전에 답을 알 수 없는 비공개 테스트여야 한다고 주장하며, 데모가 여전히 매력적인 이유와 평가 방식의 개선 필요성을 논한다.