DishwasherBench: смогут ли передовые модели правильно загрузить посудомоечную машину?
DishwasherBench – Can Frontier Models Stack a Dishwasher?
DishwasherBench — это браузерная игра и бенчмарк для языковых моделей, где нужно загрузить реальную посудомоечную машину Bosch SMV4HAX40G с физической симуляцией мойки. Очки начисляются за чистую посуду, но пока оценка не учитывает, насколько хорошо вымылись тарелки и столовые приборы. Проект включает семь уровней, поддержку MCP и детерминированную физику загрузки.
Сегодня оценка показывает, хорошо ли игрок уложил посуду и поставил ли чашки, стаканы и кастрюли вверх дном. Она пока не показывает, были ли тарелки и столовые приборы уложены так, чтобы отмыться дочиста.