Stepfun의 Step 5, 가성비 최강으로 AA 파레토 프런티어 등극
Stepfun Step 5 Preview (LLM): On AA Pareto frontier
Artificial Analysis의 Intelligence Index v4.3에서 Stepfun의 Step 5 프리뷰가 뛰어난 지능 대비 비용 효율로 파레토 프런티어에 올랐다. 10개 평가를 종합한 이 지수에서 Step 5는 에이전트 지식 작업, 코딩, 문서 추론 등에서 경쟁력 있는 성능을 보이면서도 작업당 비용이 매우 낮다. 특히 AA-Omniscience 지수는 지식 신뢰성과 환각 억제를 측정해 주목된다.
AA-Omniscience Index(높을수록 좋음)는 지식 신뢰성과 환각을 측정한다. 정답에는 보상을, 환각에는 페널티를 주며, 답변을 거부하는 경우에는 페널티가 없다. 점수 범위는 -100에서 100으로, 0은 정답과 오답이 같은 수준임을 의미하고, 음수는 오답이 정답보다 많음을 뜻한다.