Minecraft 재현은 벤치마크가 아니다
Recreating Minecraft Is Not a Benchmark
GPT Astra 출시 후 소셜 미디어를 장악한 'Minecraft 재현', '자전거 타는 펠리컨' 등의 데모는 사실상 모델 성능을 측정하는 벤치마크가 아니라 마케팅용 쇼케이스에 불과하다. 저자는 이를 '데모 벤치마크'라고 부르며, 고정된 과제는 다음 모델이 완벽히 수행하도록 최적화되기 쉽다고 지적한다. 실제로 Thinking Machines의 Inkling Small은 파라미터 수가 3분의 1 미만임에도 플래그십 모델과 비슷한 점수를 기록했다. 공개된 정적 테스트는 훈련 데이터에 새어들어가기 때문이다. 이 글은 진정한 벤치마크는 사전에 답을 알 수 없는 비공개 테스트여야 한다고 주장하며, 데모가 여전히 매력적인 이유와 평가 방식의 개선 필요성을 논한다.
고정된 유명한 목표와 8주의 준비 기간은 풀린 펠리컨이다. 이런 테스트는 절대 변하지 않고, 변하지 않는 것은 무엇이든 과적합될 수 있다.
HN 토론
72- bluegatty
정답은 맞지만 논지가 틀렸다.
'랩들이 이걸 위해 최적화하고 있다'는 예시는 잘못된 논지다.
AI가 '겉보기에 정교해 보이는' 것을 임의로 생성하는 것은 그리 어렵지 않다. 문제는 항상 모호한 요소가 포함된 사양에 맞춰 그것을 만들 수 있고, 그다음에 그것을 합리적으로 수정할 수 있다는 것이다.
이미지 생성 모델을 보라: 마법 버튼을 누르면 '자전거를 탄 펠리컨'을 얻을 수 있지만, 펠리컨의 '모자'만 바꿀 수는 없다. 다시 마법 버튼을 눌러야 하고, 그러면 완전히 다른 '자전거를 탄 펠리컨'이 나온다.
이것이 근본적인 착각이다.
'코드를 작성하는 것이 작업이다'라는 착각과 비슷하다. 하지만 실제로는 그렇지 않다. 연구, 설계, 문서, 통합, 그리고 그 모든 '노하우'가 '어딘가에 자리 잡아야' 출력물의 형태를 조정하고 빚을 수 있다.
임의의 코드 출력은 완전히 무가치하지는 않지만 거의 무가치하다. '80%가 남았고 또 80%가 남았고 또 80%가 남았다'는 그런 것이다. 조금 더 나은 출발점일 뿐이다.
AI의 연구 능력은 멋진 데모를 만들어 내지는 못하지만, 틀림없이 더 강력하다.
- 0xb0565e486
온라인에서 Astra가 아름다운 3D 작업물을 만드는 것을 계속 보고 있는데, 정작 옛날 RuneScape 에셋을 넣고 (매우 상세한 지침도 함께 주고) 새로운 그럴듯한 에셋을 생성해 달라고 하면 끔찍하게 실패하더라.
현재 (최첨단) 모델들이 '새로운' 것을 만드는 데는 여전히 뭔가 잘못된 점이 있는 것 같다. 2004년 스타일 그래픽조차도 말이다.
아니면 내가 프롬프트를 잘못 입력하고 있는 걸까?
- orbital-decay
이 주장은 설득력이 없어 보인다. 왜냐하면 a) 펠리컨 테스트는 주관적이고, 직접적인 정답이 없어서 새어 나올 것이 없으며 아주 희미한 선호 신호만 있을 뿐이기 때문이고, b) 같은 작은 모델들이 주제를 바꾸면 실제로 잘 작동하기 때문이다. 일부 모델은 실제로 특정 도메인, 예를 들어 2D 레이아웃이나 벡터 그래픽과 같은 분야에서 더 잘하도록 훈련된다. 그것은 모두 특정 레시피와 데이터셋에 달려 있다. 이것이 이러한 테스트가 분위기 확인용으로 부적절한 실제 이유다. 일반화, 암기, 훈련 선호도를 분리하는 데 아무런 도움이 되지 않기 때문이다. 특히 인기 있는 소프트웨어를 원샷으로 재현하는 것은 암기가 지배할 것이기 때문에 어떤 것의 테스트로도 적합하지 않다.
AAII도 그다지 유용하지 않고, 일반적인 점수나 벤치마크도 마찬가지다. 일기예보를 원한다면 지구의 평균 기온을 보지 않는다.
(그런데 'one-shot'이라는 용어가 언제 '예시 하나'라는 뜻이 아닌 다른 의미로 변질됐지?)
- hombre_fatal
> 그게 문제다. 이런 테스트는 모델이 얼마나 좋은지 더 이상 알려줄 수 없다. 랩들이 다음 릴리스에서 정확히 이런 테스트를 위해 최적화하는 것은 사소한 일이기 때문이다.
하지만 그들은 그 주장을 증명하지 못한다. 모델이 Minecraft 재현에 놀라운 능력을 보이지만, Minecraft라는 단어를 다른 게임이나 사용자 지정 게임으로 바꾸는 순간 엉망이 되는가?
내가 보는 것은 그렇지 않다. 내 피드는 Diablo부터 자신이 떠올린 임의의 아이디어까지 다양한 게임을 Astra로 재현하는 사람들로 가득하다. 놀라울 정도로 정교한 디테일로, 예를 들어 gpt-5.6-sol에서라면 몇 주를 반복해야 했을 애니메이션을 Astra는 한 번에 만들어 냈다.
- mrkramer
>GPT-6-Astra-Max
"PlayStation 4 컨트롤러의 SVG를 최대한 멋지게 생성해 줘"
소요 시간: 11분 54초
사용된 이미지 없음
10초가 아니라 12분이 걸릴 줄은 예상 못 했다. 12분이 걸린다면 차라리 내가 직접 만드는 게 낫겠다. 그리고 '사용된 이미지 없음'이 무슨 뜻인가? 콘솔 컨트롤러 이미지를 포함한 많은 이미지로 훈련되지 않았나?