오픈 웨이트 모델, 최신 AI 지능 지수에서 선두와 12점 차로 벌어져
Artificial Analysis Intelligence Index v5
Artificial Analysis가 Intelligence Index v5를 공개했다. v4 이후 최대 업데이트로, 처음으로 지수의 60%가 비공개 테스트셋 기반이다. Claude Opus 5.5가 58점으로 1위, GPT-6 Astra가 57점으로 뒤를 잇는다. 오픈 웨이트 격차는 3점에서 12점으로 확대됐고, 공개된 가중치 중 최고인 DeepSeek V4.1 Flash와 GLM-5.3은 32점에 그쳤다. 선두 모델 간 작업당 비용은 13배 이상 차이 난다.
오픈 웨이트 모델들은 v5에서 더 뒤처졌다. 최고 성적인 Kimi K3.1 Pro(가중치 미공개)가 46점으로 선두와 12점 차이인데, v4.3에서는 격차가 3점이었다.
HN 토론
80- peri-cl
이 글은 그들이 새 벤치마크에서 여러 오픈 웨이트 모델을 조용히 삭제했다는 사실을 공개하지 않았다. 인기 있는 모델들이다. 차트에 없고, 수동으로 차트에 추가할 수도 없으며, 개별 모델 페이지에는 이제 점수가 "N/A"로 표시된다.
GLM 5.3-flash: N/A
https://artificialanalysis.ai/models/glm-5-3-flash/
Qwen 3.8-flash-next: N/A
- simonjgreen
업보트 없이 즐겨찾기한 게 이번이 처음인 것 같다.
이건 정말 수상하다. AA가 어떤 문제를 바로잡아야 한다고 느꼈는지, 왜 순위가 이렇게 뒤바뀌었는지에 대한 더 자세한 설명과 "입장"을 듣고 싶다. 그리고 순위가 이렇게 쉽게 바뀔 수 있다면 그들의 지수가 어떻게 관련성이 있다고 주장할 수 있는지도.
- kamov
다국어 지수에서 자연어 선택이 꽤 이상하고 편향된 것 같다. 그들은 아시아 언어를 폭넓게 포괄하려 했지만, 유럽 로망스어가 네 개나 있다. 슬라브어(예: 러시아어)나 북유럽어(예: 스웨덴어), 핀우그릭어는 포함하지 않았다. 그리고 이 로망스어들은 어차피 훈련 데이터에서 과대표되어 있을 가능성이 높다.
- chvid
"FrontierCode 검증기는 각 시도를 과제의 테스트와 루브릭으로 채점한다. 우리는 GPT-6 Luna (medium)를 LLM 심사자로 사용한다"
왜 폐쇄 소스 LLM을 심사자로 쓰는 걸까? 폐쇄 소스 제공업체는 트래픽을 볼 수 있고 원하는 대로 조정할 수 있다.
- lousken
미국 연구소들에 이렇게까지 아부하는 게 부끄럽다. 그 모델들은 출시 후 며칠 동안만 성능이 좋을 뿐인데. 오픈 웨이트를 쓰면 폐쇄 소스 쓰레기와 달리 품질이 그대로 유지된다는 걸 확신할 수 있다. 시간이 좀 지난 후에 재시험을 해보는 게 어떨까?