StepfunのStep 5 Preview、AAのParetoフロンティアに登場
Stepfun Step 5 Preview (LLM): On AA Pareto frontier
Artificial AnalysisのIntelligence Index v4.3は、AA-BriefcaseやTerminal-Bench 4.0、Humanity's Last Examなど10種類の評価を統合した指標だ。StepfunのStep 5 Previewは、このインテリジェンス指数とコストの関係を示すParetoフロンティア上に位置し、知能と価格のバランスで注目される。
AA-Omniscience Indexは知識の信頼性とハルシネーションを測定する。正解には報酬を与え、ハルシネーションにはペナルティを課し、回答を拒否した場合にはペナルティがない。