OpenAI의 최신 모델 Astra 6.2와 Sol 6.2, SimpleBench에서 고등학생 평균에도 뒤졌다
Astra 6.2 and Sol 6.2 flop at Simple Bench
SimpleBench는 고등학교 수준의 상식만 가진 일반인도 최신 LLM을 앞서는 200여 개의 객관식 문제로 구성된 벤치마크다. 일반인 기준선은 83.7%인데, OpenAI의 GPT-6.2 Astra는 77.3%, GPT-6.2 Sol은 69.9%로 100위권 밖까지 밀렸다. 반면 Anthropic의 Claude Fable 5.2는 94.9%로 1위를 차지했고, Google의 Gemini 4 계열이 그 뒤를 이었다. 암기한 지식과 근사적 추론만으로는 기본적인 질문조차 풀기 어렵다는 점을 보여준다.
프론티어 LLM이 활용하는 암기된 지식과 근사적 추론 검색만으로는 아직 기본적인 질문에 답하기에 충분하지 않다는 점을 SimpleBench의 결과가 확인해 준다.
HN 토론
153- 0xbadc0de5
지난 며칠 동안 Sol-6.2와 Astra-6.2를 많이 써봤고(Claude Opus와 Fable도 꾸준히 사용 중인데), 이전 릴리스보다 확실히 개선되었고 Opus-5.5, Fable-5.2와 비슷한 수준이다.
나는 이 인플루언서 벤치맥서들(벤치마크만 좇는 사람들)을 더 이상 신뢰하지 않는다. 왜냐하면 그들은 내가 관심 있는 워크플로를 거의 실행하지 않기 때문이다. 완전히 합성된 것이다. 중요한 유일한 벤치마크는 어떤 모델이 당신의 현재 사용 사례에 얼마나 잘 맞는가이다.
- nsingh2
6.2 모델들은 비교적 꼼꼼하고 철저하다. 훌륭한 코드 리뷰어이거나 수학에 강하다.
하지만 의도를 파악하거나, 모호하고 불충분하게 명시된 작업을 인간이 합리적이라고 느낄 방식으로 처리하는 데는 상대적으로 더 약한 것 같다. 어떤 사람들이 이들을 농담 삼아 "자폐적"이라고 부르는 걸 봤다.
GPT-5 이후의 모든 GPT 모델은 이런 스타일을 지니는 것 같고, 어떤 건 더 심하다.
- fullstackwife
벤치마크 아이디어가 하나 있다: 지식 컷오프를 예를 들어 1945년으로 설정해 모델을 훈련시키고, 그다음 70년간의 세계 발전을 시뮬레이션하는 것이다. 그런 다음 인간이 발명한 것들을 발명하는지, 그리고 우리의 실수나 막다른 길도 피하는지 보는 것이다.
- ricardobeat
Neon / Carbon / Argon / Hydrogen은 모두 비슷한 수준인데, 왜 서로 다른 모델을 네 개나 출시한 걸까?
Neon은 Argon에 비해 코딩에서 특별히 강해 보이지 않고, 내 경험상 Opus 5.5가 여전히 둘 다 이긴다. 영어에 무능하게 만든 잃어버린 뉴런들이 완전히 엔지니어링 괴짜가 되는 데 전념한 것 같다.
- algoth1
Phillip이 리더보드를 업데이트했는데, 놀랍게도 모든 새 모델 릴리스가 상당히 좋아졌다. OpenAi 모델만 빼고. 6.2 Sol은 30위인 반면 6.1 Sol은 10위다. Astra 6은 9위, Astra 6.2는 15위다. 비교하자면 Fable 5.2는 1위가 되었고 Fable 5.1은 7위다. 새로운 구글 모델들은 hydrogen까지 모두 인간 기준선 위에 있다. 반대로 Astra 6 pro는 8위로 인간 기준선을 약간 웃도는 유일한 openai 모델이다.
- martinjc
내 경험상, 지시를 너무 잘 따른다고 느낀다. 회색 지대는 완전히 잘려나갔고, 물론 때로는 그게 좋다. 하지만 내 사용 사례에서는 응답이 똑똑하게 느껴지고 질문할 준비가 된 느낌이 좋았다.
- davidmurdoch
6.2 Sol은 설계자처럼 행동하지 않고, 지시나 기존 코드에 전혀 의심을 품지 않는 것 같다. 계획이나 추론에 대해 조금이라도 의문을 제기하면 다시 "반박하는 게 맞습니다"라는 응답으로 돌아간다.
- hoppp
새 Gemini 모델들이 모두 이 벤치마크에서 Opus 5.5보다 성능이 좋다.
그게 실제 사용 중에 체감될 만한 것인가?
나는 opus 5.5를 정말 좋아한다. 완벽하고, 새 gemini 모델들은 아직 안 써봤다.