MMLU 점수 두 개가 같은 이름을 쓰지만 비교할 수 없는 이유

The Two MMLU Scores: What a Benchmark Name Does Not Fix

한 모델 패밀리의 서로 다른 빌드가 같은 MMLU 벤치마크 이름 아래 0.781과 0.79를 기록했다. 산술적 차이는 +0.009에 불과하지만, 두 기록의 프레임은 러너, 채점자, 데이터셋 분할이 모두 다르다. mmlu라는 이름은 데이터셋 패밀리만 고정할 뿐 측정 절차 전체를 고정하지 않는다. 비교 가능성은 숫자가 아니라 결과가 추적 가능한 참조의 속성이다. 검증기는 이 쌍에 대해 incomparable을 반환한다.