AI 벤치마크가 1조 달러 시장의 승자를 가른다
Artificial Analysis v5 and the benchmarker's dilemma
Artificial Analysis의 새 Intelligence Index v5는 지식 노동, 코딩, 과학, 일반 영역을 각각 25%씩 반영해 모델 순위를 매긴다. 저자는 이 지수가 오픈 모델의 실용적 가치보다 프론티어 격차를 부각한다고 지적한다. 벤치마크 제작자는 단일 숫자로 요약해야 하지만 모든 집계 방식에는 트레이드오프가 따른다. 특히 비공개 벤치마크로의 전환은 투명성을 해칠 수 있다고 경고한다.
오늘날 AI 생태계에 쏟아지는 돈의 규모를 생각하면 독립 평가의 무게는 더욱 커진다. 당신이 1조 달러 시장의 승자와 패자를 결정하는 것이다.
HN 토론
37- 6thbit
저는 AA 결과를 그저 하나의 데이터 포인트로 취급해야 한다고 생각합니다. 그들이 의도했을지 모르는 포괄적인 '권위'로 여겨서는 안 됩니다.
사과 대 사과로 비교할 수 있는 유용한 방식으로 중립적인 원시 벤치마크 데이터에 접근할 수 있다면, 우리 각자가 유용하다고 생각하는 관점의 일부를 얻기 위해 자신만의 '지수'를 정의할 수 있을 겁니다.
'지능'을 단일 지수로 정의하거나 비교하려는 시도는 항상 빗나가기 마련입니다.
- lordofgibbons
AA가 모델을 사람들이 실제로 사용하는 추론 노력 수준에서 벤치마킹했으면 좋겠습니다. 예를 들어, 제가 아는 사람들은 '최대' 추론 설정을 사용하는 경우가 매우 드뭅니다. 특히 Claude Code 자체가 사용을 꺼리게 만들기 때문이죠. 하지만 이 모든 코딩 벤치마크는 바로 그 추론 노력에 기반하고 있습니다.
이해합니다. 그들이 벤치마킹할 수 있는 양에는 한계가 있다는 것을요. 하지만 저는 모델의 최상의 시나리오보다는 모델이 실제로 사용되고 고객에게 제공되는 방식을 벤치마킹한 결과를 더 선호합니다.
- matesz
"제가 마지막으로 해야 할 요점은, 이는 폐쇄형 연구소들을 치켜세우는 것이지만, Anthropic과 OpenAI 같은 곳들은 몇 달, 어쩌면 몇 년 전에 이미 이러한 지수에 신경 쓰는 것을 그만두었다는 것입니다. 그들의 초점은 대부분 내부 용도 – 예를 들어 AI R&D 자동화 – 와 수십억 달러를 지출하는 고객들의 사용 사례를 지원하는 데 맞춰져 있습니다."
이게 사실인가요? 만약 그렇다면 매우 납득이 갑니다. 새로 출시된 오픈 웨이트 모델을 시험해 볼 때마다 실망스러울 때가 한두 번이 아닙니다. 일부 오래된 Claude 모델조차 벤치마크에서 지능 점수가 더 낮음에도 불구하고 답변 품질에서 그들을 능가하고 있습니다.
- chvid
AA는 어떻게 돈을 버나요? 투자자들은 누구인가요?
- anon373839
AA는 단 몇 주 만에 방법론을 두 번이나 극적으로 변경했습니다. 이제 그들의 종합 점수의 유용성을 정말로 모르겠습니다. 기본적으로 LLM계의 US News 대학 순위라고나 할까요.
당분간은 LiveBench가 더 잘 보정된 신호를 제공하는 것 같습니다.