Два результата MMLU: что не исправляет название бенчмарка
The Two MMLU Scores: What a Benchmark Name Does Not Fix
Две точности MMLU — 0.781 и 0.79 — для двух сборок одного семейства моделей. Проверяльщик возвращает «несопоставимо», потому что различаются сплиты, реализации, формат промпта, грейдер и сетевой доступ. Сопоставимость — свойство ссылки, к которой прослеживаются результаты, а не самого числа. Под профилем APL AI-Eval фрейм становится объектом с адресацией по содержимому, и утверждение несёт его хеш.
Сопоставимость — свойство ссылки, к которой прослеживаются результаты, а не числа.